COUNT：n-gram 计数放主机内存，等效多 57% 算力

Ian Magnusson 等人发布论文提出 COUNT（Counting Offline Unlocks N-gram Transformers）。该方法不新增可学习参数，而是把预计算的 n-gram 计数存到主机内存，并用语料频率对语言模型自身的 unembedding 加权，从而在不增加 GPU 显存开销的情况下扩展 n-gram 嵌入。 论文称，在固定算力预算下，把 COUNT 作为额外输入嵌入用于预训练 1B 参数语言模型，其验证损失的改善相当于算力多 57% 的模型；在 GPU 显存受限时，让主干参数占满显存并配合 COUNT，效果优于把显存分给额外可学习的 n-gram 嵌入。 论文还称，推理时可切换成来自特定领域语料的另一张 n-gram 计数表，无需训练即可适配新任务。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。