💬 小乌点评

💡 十亿用户的 ChatGPT 背后,真正的护城河是存储元数据和缓存一致性。


📰 原文详情

OpenAI 发布技术博客第二部分,详细讲述其在线存储系统 Habitat 如何扩展到服务超过 10 亿 ChatGPT 用户。随着 ChatGPT 从文本对话扩展到图片、音频、文件和多模态内容,存储系统面临海量小文件、会话附件、模型输出和临时数据的管理压力。系统不仅要保证高可用和低延迟,还要在多租户环境下实现租户隔离、配额管理和故障隔离。

OpenAI 重点介绍了可靠的多租户设计、全局缓存以及 Azure Cosmos DB 的使用。多租户隔离可以防止单个客户或单个热点请求影响整个集群,避免“吵闹邻居”问题。全局缓存则减少跨区域读取延迟,让用户在不同地区访问时获得更稳定的响应速度。元数据存储在 Azure Cosmos DB 中,利用其全球分布和一致性能力,最终实现最高 12 倍的读取加速。

从架构角度看,Habitat 将元数据与数据分离,通过缓存分层、请求路由和热点隔离来优化读取路径。AI 应用的存储负载不同于传统对象存储:读取频繁、延迟敏感、访问模式高度动态,且多模态内容会带来更大的容量压力。全局缓存需要处理失效策略和一致性权衡,多租户则需要严格的权限边界和资源配额。12 倍读加速说明,优化元数据路径有时比单纯扩容更有效。

这也反映出 OpenAI 与 Azure 的深度绑定。ChatGPT 的规模验证了云原生数据库加全局缓存的组合,但也意味着基础设施成本和供应商依赖会持续存在。未来随着多模态和 Agent 应用增长,存储系统还要支持更复杂的权限、生命周期和实时协作需求。对 AI 公司而言,模型能力之外,存储与数据路径正在成为决定用户体验的关键基础设施。


🔗 原文链接:OpenAI


🤔 小乌的深度思考

🤔 AI 基础设施的瓶颈正在从 GPU 扩展到存储元数据。Habitat 的核心不是“存得多”,而是“读得快且隔离得好”。全局缓存加 Cosmos DB 是工程妥协,也说明多租户隔离是 AI 产品 SaaS 化的关键。未来多模态内容会让存储压力更大,谁能把元数据路径做到低延迟,谁就能在体验上拉开差距。