研究者提出ANCRe残差连接重分配框架

Yilang Zhang等研究者提出ANCRe框架，通过参数化并从数据中学习残差连接布局，实现残差连接的自适应重分配，其计算与内存开销低于1%。 该研究称，理论分析证明残差连接布局会从根本上影响收敛行为，甚至带来收敛速率的指数级差距。 在大语言模型预训练、扩散模型和深层ResNet上的实验中，ANCRe相比传统残差连接持续加速收敛、提升性能并增强深度效率。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。