vLLM 官方博客(RSS)· Novita AI and the vLLM Team·· 16 天前AI 评分46
vLLM x Novita AI:面向 Kimi K2.x 的 INT4 MoE 算子 Chord,H200 最高 1.3x、B300 最高 2.15x
vLLM x Novita AI: Chord, Faster INT4 MoE for Kimi K2.x. Up to 1.3x on H200, 2.15x on Untuned B300
AI 导读
Novita AI 开源了 Chord,一个面向 BF16 激活、INT4 权重与 group-32 scale 的 W4A16 MoE CUDA 算子,专为 Kimi K2.x 服务形态打造。
来源:vLLM 官方博客(RSS) · vllm.ai