Cohere论文：投机解码在细粒度MoE低批量下有效

Cohere 发表论文称，投机解码在细粒度 MoE 模型上即使 batch size 为 1 也有明显收益。这一结果与此前研究的预测相反：此前研究认为，在这种低批量场景下收益很小。 该结论目前来自 Cohere 的论文，报道未给出具体实验设置或收益幅度。

AI 根据报道生成 · 57 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。