OpenAI 披露 ChatGPT 存储底座 Habitat:每秒处理 2200 万次请求

OpenAI 发布技术文章,讲述 Habitat 如何从一个 Python 库演进为服务 10 亿 ChatGPT 用户的全球分布式存储平台。

Paylaş
OpenAI 披露 ChatGPT 存储底座 Habitat:每秒处理 2200 万次请求

OpenAI 发布了一篇技术文章,介绍支撑 ChatGPT 的存储层。文章的核心是一套名为 Habitat 的系统,它最初只是一个 Python 库,后来被重建为全球分布式的存储平台。

根据该公司公布的数据,这套平台目前服务 10 亿 ChatGPT 用户,每秒处理 2200 万次请求。文章逐步梳理了团队把系统推到这一规模的过程。

为什么值得关注

相比模型能力,存储层很少成为讨论焦点,但在对话类产品的用户规模扩张过程中,它往往是最先出现瓶颈的环节之一。OpenAI 从一个库走到分布式平台的这条路径,对处在类似增长曲线上的工程团队来说是一份可直接参考的案例。

这篇文章是 OpenAI 系列内容的第一篇。关于架构选型、遇到的具体问题以及对应的解决方案,可以在 OpenAI 官方博客 阅读全文。

Devamını oku

Liquid AI تطلق أكبر نماذج LFM2.5 المفتوحة لتشغيل الوكلاء على الأجهزة

Liquid AI تطلق أكبر نماذج LFM2.5 المفتوحة لتشغيل الوكلاء على الأجهزة

أطلقت Liquid AI نموذج LFM2.5-24B-A2B كنموذج مفتوح، ويضم 24 مليار معامل إجمالا لكنه يشغل نحو 2.5 مليار منها في كل خطوة. وبحسب النتائج التي نشرتها الشركة، يولد النموذج المدرب للوكلاء الذين يستخدمون الأدوات 184 رمزا في الثانية على Apple M5 Max.

GlobalFeed Editor tarafından