跳到正文
原文
LMSYS:Blog(Chatbot Arena 团队)·· 13 小时前精选AI 评分71

SGLang 与 Miles 为 Kimi K3 提供 Day-0 推理与 RL 训练支持

Blog SGLang and Miles Add Day-0 Support for Kimi K3 We are excited to announce Day-0 support for Kimi K3 in SGLang and Miles. K3 is the first open-source model in the 3-trillion-parameter class, and its hybrid architecture departs from convention in al... SGLang Team July 27, 2026

AI 导读

SGLang 团队与 Miles 宣布在发布当天支持 Moonshot AI 的 Kimi K3,覆盖 SGLang 推理和 Miles RL 训练。K3 是首个 3 万亿参数级的开源模型,2.8T 参数、1M token 上下文,采用 69 层 KDA 线性注意力加 24 层 MLA 的混合架构及 LatentMoE 和 Attention Residuals。

推荐理由

K3 的混合架构打破了多数推理框架的既有假设,文中给出的内存管理、投机解码与并行方案对同类服务栈有直接参考价值。

来源:LMSYS:Blog(Chatbot Arena 团队) · lmsys.org