Cline· cline·· 3 小时前AI 评分36
Cline 将 Nemotron 3.5 Super VL 吞吐翻倍
We nearly doubled throughput for Nemotron 3.5 Super VL on a single GB300 GPU, from 6,058 → 11,840 tok/s, with five configuration changes ...
AI 导读
我们在单块 GB300 GPU 上让 Nemotron 3.5 Super VL 的吞吐几乎翻倍，从 6,058 → 11,840 tok/s，靠的是 vLLM 中的五项配置改动。 这些改动让模型可以提前草拟 token、让 GPU 不再空转，并以半精度存储模型的内存。
来源：Cline · x.com