OpenAI 披露 ChatGPT 存储底座 Habitat:每秒处理 2200 万次请求
OpenAI 发布技术文章,讲述 Habitat 如何从一个 Python 库演进为服务 10 亿 ChatGPT 用户的全球分布式存储平台。
OpenAI 发布了一篇技术文章,介绍支撑 ChatGPT 的存储层。文章的核心是一套名为 Habitat 的系统,它最初只是一个 Python 库,后来被重建为全球分布式的存储平台。
根据该公司公布的数据,这套平台目前服务 10 亿 ChatGPT 用户,每秒处理 2200 万次请求。文章逐步梳理了团队把系统推到这一规模的过程。
为什么值得关注
相比模型能力,存储层很少成为讨论焦点,但在对话类产品的用户规模扩张过程中,它往往是最先出现瓶颈的环节之一。OpenAI 从一个库走到分布式平台的这条路径,对处在类似增长曲线上的工程团队来说是一份可直接参考的案例。
这篇文章是 OpenAI 系列内容的第一篇。关于架构选型、遇到的具体问题以及对应的解决方案,可以在 OpenAI 官方博客 阅读全文。