STAPLE：静态稀疏升级预训练检查点

研究者 Ranajoy Sadhukhan 等提出 STAPLE，一种基于 STEM 的静态稀疏记忆方法，在保留 FFN 上投影的同时以残差路径加入 token 索引嵌入，用于对预训练检查点做静态稀疏升级。作者称，在 OLMo-2 1B 上，STAPLE 相比持续稠密训练在 HumanEval 提升 4.27 分、MBPP 提升 2.80 分、GSM8K 提升 2.27 分、DROP 提升 1.65 分。 作者还称，平均性能随静态容量增加而提升，且改进在更大的 OLMo-2 7B 骨干上仍然存在；STAPLE 也优于 STEM 和 Engram 式等静态稀疏基线，平均分高于一个 MoE upcycling 基线，并在其面向吞吐的解码评测中解码速度快 2 倍、GPU 模型内存和实测每 token GPU 能耗均不到后者一半。 在实现上，作者称尽管在训练后期引入数十亿参数，采用主机卸载的实现使生成吞吐量与稠密基线相差在 1.5% 以内、训练吞吐量相差在 3% 以内，同时 GPU 上只缓存约 5% 最高频的嵌入。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。