跳到正文
热点事件持续更新

SGLang v0.3 发布:DeepSeek MLA 优化

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

2026年10月2日,SGLang 团队发布 v0.3 版本。该版本针对 DeepSeek MLA 实现权重吸收、FP8 KV cache 等优化,吞吐较基线提升 3 到 7 倍。集成 torch.compile 后,小批量场景延迟最高降低 1.5 倍。此外,v0.3 新增 LLaVA-OneVision 的交错文本、多图和视频支持,以及 Gemma-2 的交错窗口注意力支持,上下文长度扩展到 8K。目前进展为 v0.3 正式发布并公布上述性能数据与功能更新。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月2日
  1. LMSYS:Blog(Chatbot Arena 团队)精选
    SGLang v0.3 发布:DeepSeek MLA 吞吐提升至 7 倍,torch.compile 延迟降低 1.5 倍

    SGLang 团队发布 v0.3,对 DeepSeek MLA 实现权重吸收、FP8 KV cache 等优化,吞吐较基线提升 3 到 7 倍。集成 torch.compile 后小批量场景延迟最高降低 1.5 倍,并新增 LLaVA-OneVision 的交错文本、多图和视频支持,以及 Gemma-2 的交错窗口注意力支持,上下文长度扩展到 8K。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。