论文称非线性注意力带来逆深度缩放

Zirui Peng 等作者发表论文称，非线性注意力在所有测试数据谱下均带来损失的逆深度衰减，即深度增加时损失持续下降，这与线性注意力受数据谱幂律约束的深度缩放不同。 论文将原因归于注意力的非线性：非线性让注意力能选择性聚焦相关 token，使强、弱谱方向并行学习；跨层聚焦差异经聚合转化为随深度增加的持续收益。论文据此认为，深度缩放可能源于注意力非线性，使大语言模型聚焦局部、削弱全局协方差结构的相关性。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。