研究提出ELR循环语言模型训练方法

Faisal Ladhak等作者提交论文，提出Elastic Latent Recurrence（ELR）训练配方，目标是让循环语言模型不再因循环付出额外代价。作者称，单循环ELR模型的服务成本与同规模非循环模型相同，在相同数据上训练可达到相近精度；每增加一次循环，则用更多推理算力换取更高精度。 在4B稠密模型和30B-A3B MoE模型上，单循环ELR的十任务平均分分别比基线低0.52分和高1.04分，四循环则分别提升7.25和4.75分。作者还称，混合深度可在预训练后期引入以限制新增训练成本，配合切换时加入零初始化条件，这一后期方案能比从头进行混合深度训练达到更低损失；推理时只保留最后一轮循环的注意力KV缓存，可把KV内存维持在一循环水平，同时保留额外循环的大部分收益。上述数据与效果均出自作者论文。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。