vLLM 官方博客（RSS）· Aaron Hao, Sumanth Hegde, Gal Meirom, Istvan Haller, Kourosh Hakhamaneshi, Gavin Parnaby, Moein Khazraee, Omri Kahalon·· 2026-08-22AI 评分46
vLLM 如何用 Ray Direct Transport（RDT）实现大规模分片权重传输
Large-Scale Sharded Weight Transfer with Ray Direct Transport (RDT) in vLLM
AI 导读
vLLM 推出基于 Ray Direct Transport（RDT）的原生分片权重传输引擎，在 48 个 8xH100 节点（32 训练、16 推理）上以 BF16 完成 Kimi K2 的权重传输仅需 7.53 秒。
来源：vLLM 官方博客（RSS） · vllm.ai