跳到正文
热点事件观察中

vLLM 单台 GB300 NVL72 服务 DeepSeek-V4.1-Flash 吞吐达每 GPU 954K tokens/s

1 篇报道1 个报道来源3 天前更新

先了解这件事

AI 综述

vLLM 团队发布性能研究博客，介绍在单台 NVIDIA GB300 NVL72 上通过 P/D 分离（Prefill/Decode 分离）和 Wide-EP 优化 DeepSeek-V4.1-Flash 推理服务。 vLLM 称，在 SemiAnalysis AgentX 基准上达到每 GPU 954K tokens/s、单用户 P90 196 tokens/s，为单节点结果的 7.9 倍，解码吞吐追平 DeepInfer。 这是 vLLM 官方博客公布的单节点基准结果，其优化方法和倍数结论针对上述硬件配置与基准，尚未说明在其他配置或负载下的表现。

AI 根据报道生成 · 1 天前更新

最新进展10月23日 08:00
vLLM 如何在 GB300 NVL72 上规模化服务 DeepSeek-V4.1-Flash，解码吞吐追平 DeepInfer

报道时间线

沿着报道，了解事件的不同侧面。

10月23日
  1. vLLM 官方博客
    vLLM 如何在 GB300 NVL72 上规模化服务 DeepSeek-V4.1-Flash，解码吞吐追平 DeepInfer

    vLLM 用 P/D 分离与 Wide-EP 在单台 NVIDIA GB300 NVL72 上服务 DeepSeek-V4.1-Flash，SemiAnalysis AgentX 基准达每 GPU 954K tokens/s、单用户 P90 196 tokens/s，为单节点结果的 7.9 倍。

本事件热度走势

可比范围当前
3
可比范围峰值
310月25日 03:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。