热点事件持续更新
SGLang v0.3 发布:DeepSeek MLA 优化
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026年10月2日,SGLang 团队发布 v0.3 版本。该版本针对 DeepSeek MLA 实现权重吸收、FP8 KV cache 等优化,吞吐较基线提升 3 到 7 倍。集成 torch.compile 后,小批量场景延迟最高降低 1.5 倍。此外,v0.3 新增 LLaVA-OneVision 的交错文本、多图和视频支持,以及 Gemma-2 的交错窗口注意力支持,上下文长度扩展到 8K。目前进展为 v0.3 正式发布并公布上述性能数据与功能更新。
AI 根据报道生成 · 1 小时前更新
最新进展10月2日 22:51
SGLang v0.3 发布,DeepSeek MLA 吞吐提升至 7 倍。报道时间线
沿着报道,了解事件的不同侧面。
10月2日
- LMSYS:Blog(Chatbot Arena 团队)精选SGLang v0.3 发布:DeepSeek MLA 吞吐提升至 7 倍,torch.compile 延迟降低 1.5 倍
SGLang 团队发布 v0.3,对 DeepSeek MLA 实现权重吸收、FP8 KV cache 等优化,吞吐较基线提升 3 到 7 倍。集成 torch.compile 后小批量场景延迟最高降低 1.5 倍,并新增 LLaVA-OneVision 的交错文本、多图和视频支持,以及 Gemma-2 的交错窗口注意力支持,上下文长度扩展到 8K。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。