SGLang v0.4 发布：批调度与缓存感知负载均衡优化

2026年10月2日，SGLang 团队发布 SGLang v0.4，带来多项性能优化。据该报道，零开销批调度器通过 CPU 调度与 GPU 计算重叠实现 1.1x 吞吐提升；缓存感知负载均衡器基于近似 radix tree 预测 KV cache 命中率，吞吐最高提升 1.9x，命中率从 20% 提升到 75%，并以 Rust 实现、作为 sglang-router 独立包发布。目前尚无后续报道更新进展。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。