跳到正文
原文
SemiAnalysis 长文 RSS(RSS)· Bryan Shan·· 16 天前AI 评分57

SemiAnalysis 实测 Vera Rubin NVL72 智能体推理:每美元 TCO 吞吐最高约 67 倍于 GB300

Vera Rubin NVL72 Agentic Inference: 67x better Performance per Dollar

AI 导读

SemiAnalysis 在自建 AgentX 智能体推理基准上发布 Rubin 平台首批经核验的实测结果,称在 170 TPS、自有 TCO 口径下,Vera Rubin NVL72 相比 GB300 Dynamo TRTLLM 实现约 67 倍的总吞吐;在更常见的 60-100 TPS 区间为 1.4-3 倍。

来源:SemiAnalysis 长文 RSS(RSS) · newsletter.semianalysis.com