研究称降低激活偏置可改善学习

2026年10月，Zirui Peng 等人在 arXiv 提交研究，提出“激活偏置”概念：ReLU、GELU、Swish、Sigmoid 等主流激活函数的输出以正值为主、激活后均值非零。 在受控模型上，论文称激活偏置会加速初期损失下降，但伴随过冲、非平滑轨迹和更陡的损失曲面；降低偏置虽减慢初期学习，却能取得更低的最终损失。在更大的视觉和语言模型上，较小的激活偏置同样与更好的后期性能相关。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。