Baseten 解读 Compound AI：用多模型组合替代单体大模型

Baseten 工程博客提出 Compound AI 系统，主张用多个专用模型组合替代庞大的全能单体模型，以获得更快、更便宜的推理。该系统让模型之间直接互相调用，减少网络开销、额外延迟和出网成本，并让每个步骤独立使用自动扩缩容的 GPU。文中列举的典型场景包括 AI 电话呼叫、AI 智能体和 RAG 流水线。