vLLM 官方博客（RSS）· Helen Zhao, Fynn Schmitt-Ulms, Yuchen Fama, Antonio J. Dominguez, and Kevin Li·2026-09-15 08:00· 16 天前AI 评分45

如何用 GB300 NVL72 为 Kimi-K3 训练最快的 DSpark 推测解码器

How we trained the fastest DSpark for Kimi-K3 using GB300 NVL72

AI 导读

vLLM 团队借助 Speculators 训练库，为 2.8T 参数的 Kimi K3 训练出 DSpark 推测解码器，在数学推理上把单流交互速度从约 110 提升到约 435 tok/s/user，并发负载下同等交互性时输出吞吐最高提升约 3.5 倍。