研究揭示混合架构中混合器的竞争学习现象
热点事件观察中
研究揭示混合架构中混合器的竞争学习现象
1 篇报道1 个报道来源2 天前更新
先了解这件事
AI 综述
Xingyu Shen 等研究者发表论文称，在线性循环层与 softmax 注意力混合的架构中，各类 mixer 会竞争学习同一函数，任一层学会后便压制其他层的学习信号。层归因分析显示，现代循环层比 softmax 注意力更快学会检索函数，因此注意力大多数学不会检索。 研究团队据此提出分阶段预训练流程，在训练中途冻结循环层的权重更新；他们称最高 1B 参数的模型在语言建模损失、常识推理及多种检索任务上均有明显提升。这些效果来自论文作者的报告。
AI 根据报道生成 · 13 小时前更新
最新进展10月19日 08:00
混合架构中的竞争学习现象：分阶段训练让注意力学会检索报道时间线
沿着报道，了解事件的不同侧面。
10月19日
- HuggingFace Daily Papers混合架构中的竞争学习现象：分阶段训练让注意力学会检索
论文揭示混合架构中的"竞争学习"现象：不同 mixer 争夺同一函数，任一层学会后即压制其他层的学习信号。层归因分析显示现代循环层比 softmax 注意力更快学会检索函数，导致注意力多数情况下学不会检索。据此提出分阶段预训练流程，在训练中途冻结循环层权重更新，最高 1B 参数模型在语言建模损失、常识推理及多种检索任务上均有明显提升。
本事件热度走势
- 可比范围当前
- 3
- 可比范围峰值
- 410月20日 16:00
- 近 24 小时变化
- –
01234
16:0018:0020:0022:0010月21日
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。