vLLM 介绍 Elastic EP 近零停机扩缩容方案

vLLM 团队（NVIDIA 作者 Itay Alroy）在官方博客中介绍，通过异步准备与 NIXL EP 实现 Elastic EP 的近零停机重配置。vLLM 团队称，后台准备、CUDA 图复用以及在加入节点上独立捕获计算图，均已在最新 vLLM 和 NIXL 版本中可用。 在 GB200 GPU 上的实验中，团队使用 DeepSeek V4 Pro，TP=1，DP/EP 规模分别为 16 和 20；模型权重预先以 safetensors 格式存放在共享 Lustre 存储，以默认 --load-format auto 加载；测量时使用已预热的 Triton、TileLang 和 FlashInfer 核编译缓存。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。