AMD发布Kimi K3在MI355X上的vLLM优化实践
热点事件持续更新
AMD发布Kimi K3在MI355X上的vLLM优化实践
1 篇报道1 个报道来源6 小时前更新
先了解这件事
AI 综述
AMD与Embedded LLM在vLLM官方博客发布工程实践，讲解如何用vLLM在八卡AMD Instinct MI355X上服务Kimi K3。据该博客称，在AgentX基准、50 tokens/s/user P90交互条件下，每GPU总吞吐约7,567 tokens/s，比NVIDIA HGX B300的6,083高24.4%；按其引用的成本模型，每美元token数高87.4%。 公开的AMD配方在DCP1下使用3到7个草稿模型，在并发更高的DCP8设置下关闭推测解码。这些数字来自厂商自述的基准，而非第三方独立验证。
AI 根据报道生成 · 3 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
10月16日
- vLLM 官方博客精选Kimi K3 在 AMD Instinct MI355X 上优化：单 GPU 吞吐超 NVIDIA HGX B300 24.4%
AMD 与 Embedded LLM 在 vLLM 博客详解 Kimi K3 在八卡 AMD Instinct MI355X 上的推理优化：AgentX 基准下每 GPU 总吞吐约 7,567 tokens/s，比 NVIDIA HGX B300 的 6,083 高 24.4%，按 SemiAnalysis 模型 TCO 计每美元 token 数高 87.4%。
本事件热度走势
- 可比范围当前
- 9
- 可比范围峰值
- 910月16日 11:00
- 近 24 小时变化
- –
02.557.510
11:0012:0013:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。