热点事件持续更新
LMSYS 发布 SGLang v0.2 推理性能提升
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026年10月2日，LMSYS 在官方博客发布 SGLang Runtime v0.2。据该发布，基准测试覆盖 Llama-8B 到 Llama-405B 模型，并在 A100 和 H100（FP8/FP16）上运行，结果显示其性能优于或接近 TensorRT-LLM 和 vLLM；其中在 Llama-70B 上，吞吐最高达到 vLLM 的 3.1 倍。目前进展仅为此版本发布及官方公布的基准结果，报道中未提及后续更新或其他独立验证。
AI 根据报道生成 · 1 小时前更新
最新进展10月2日 22:51
LMSYS 发布 SGLang v0.2，称 Llama-70B 吞吐最高达 vLLM 的 3.1 倍。报道时间线
沿着报道，了解事件的不同侧面。
10月2日
- LMSYS：Blog（Chatbot Arena 团队）LMSYS 发布 SGLang v0.2：Llama3 推理吞吐最高达 vLLM 3.1 倍
LMSYS 发布 SGLang Runtime v0.2，基准测试显示其在 Llama-8B 到 Llama-405B、A100 和 H100（FP8/FP16）上性能优于或接近 TensorRT-LLM 和 vLLM，Llama-70B 上吞吐最高达 vLLM 的 3.1 倍。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。