Cerebras 用 59 片晶圆部署 Kimi K3
热点事件持续更新
Cerebras 用 59 片晶圆部署 Kimi K3
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Cerebras 公布将其称为开源的 3T 参数模型 Kimi K3 拆分部署到多片 WSE-3T 晶圆上的方案,推理速度达到 1000–2000+ tokens/秒。 据 Cerebras 介绍,Kimi K3 含 69 个线性注意力层和 24 个稠密层,在 4-bit 量化下每层约占 16 GB,总共需 59 片晶圆(35 片加 24 片)。晶圆之间只传递激活值,通过 RDMA over Ethernet 传输,每跳约 2 微秒;模型权重常驻片上,不移动。上述速度与部署细节均来自 Cerebras 的说法。
AI 根据报道生成 · 1 小时前更新
最新进展10月23日 01:02
Cerebras 如何用 59 片晶圆部署 3T 参数 Kimi K3报道时间线
沿着报道,了解事件的不同侧面。
10月23日
- CerebrasCerebras 如何用 59 片晶圆部署 3T 参数 Kimi K3
Cerebras 详解如何把开源 3T 参数模型 Kimi K3 拆分部署到多片 WSE-3T 晶圆上,实现 1000-2000+ tokens/秒的推理速度。Kimi K3 含 69 个线性注意力层和 24 个稠密层,4-bit 量化下每层约 16 GB,最终需 59 片晶圆(35+24)。晶圆间仅传递激活值,经 RDMA over Ethernet 每跳约 2 微秒,模型权重常驻片上不移动。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。