跳到正文
Cerebras· cerebras·· 2 小时前AI 评分39

Cerebras 如何用 59 片晶圆部署 3T 参数 Kimi K3

How we deploy Trillion-parameter frontier models on Cerebras

AI 导读

Cerebras 详解如何把开源 3T 参数模型 Kimi K3 拆分部署到多片 WSE-3T 晶圆上,实现 1000-2000+ tokens/秒的推理速度。Kimi K3 含 69 个线性注意力层和 24 个稠密层,4-bit 量化下每层约 16 GB,最终需 59 片晶圆(35+24)。晶圆间仅传递激活值,经 RDMA over Ethernet 每跳约 2 微秒,模型权重常驻片上不移动。

来源:Cerebras · x.com