跳到正文
SemiAnalysis· @SemiAnalysis_ · X·· 4 小时前AI 评分32
AI 导读

警报🚨:NVIDIA SGLang 推理 Rubin 每美元性能比 GB300 NVL72 还要高 4.23 倍 🚀。这是在广泛使用的生产级 LLM 引擎 @sgl_project 上的结果。(1/2)🧵

正文

ALERT🚨: NVIDIA SGLANG INFERENCE RUBIN IS 4.23x BETTER 🚀 PERF PER DOLLAR THAN EVEN GB300 NVL72. This is on the widely used production LLM engine called @sgl_project. (1/2)🧵

来源:SemiAnalysis · x.com