热点事件持续更新
Transformer 大规模激活生命周期研究
1 篇报道1 个报道来源13 小时前更新
先了解这件事
AI 综述
2026年10月3日，arXiv 的 cs.LG 分类发布一项研究，追踪 Transformer 中大规模激活（massive activation）的训练轨迹。研究发现，承载 attention sink 的通道随随机种子变化，但在每次训练早期即稳定；随后周围通道侵蚀，sink 集中于少数冗余载体。报道未提及更早的相关报道或后续进展。
AI 根据报道生成 · 1 小时前更新
最新进展10月3日 12:00
arXiv 新研究揭示 Transformer 大规模激活随训练早期稳定、后期集中于少数冗余载体。报道时间线
沿着报道，了解事件的不同侧面。
10月3日
- arXiv：cs.LG（机器学习，全量分类）Transformer 大规模激活的生命周期：随机诞生、权重衰减驱动的增长与竞争性整合
研究追踪了 Transformer 中大规模激活（massive activation）的训练轨迹：承载 attention sink 的通道随随机种子变化，但在每次训练早期即稳定，随后周围通道侵蚀、sink 集中于少数冗余载体。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。