跳到正文
热点事件持续更新

Cerebras 用 59 片晶圆部署 Kimi K3

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Cerebras 公布将其称为开源的 3T 参数模型 Kimi K3 拆分部署到多片 WSE-3T 晶圆上的方案,推理速度达到 1000–2000+ tokens/秒。 据 Cerebras 介绍,Kimi K3 含 69 个线性注意力层和 24 个稠密层,在 4-bit 量化下每层约占 16 GB,总共需 59 片晶圆(35 片加 24 片)。晶圆之间只传递激活值,通过 RDMA over Ethernet 传输,每跳约 2 微秒;模型权重常驻片上,不移动。上述速度与部署细节均来自 Cerebras 的说法。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月23日
  1. Cerebras
    Cerebras 如何用 59 片晶圆部署 3T 参数 Kimi K3

    Cerebras 详解如何把开源 3T 参数模型 Kimi K3 拆分部署到多片 WSE-3T 晶圆上,实现 1000-2000+ tokens/秒的推理速度。Kimi K3 含 69 个线性注意力层和 24 个稠密层,4-bit 量化下每层约 16 GB,最终需 59 片晶圆(35+24)。晶圆间仅传递激活值,经 RDMA over Ethernet 每跳约 2 微秒,模型权重常驻片上不移动。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。