热点事件持续更新
Stiefel流形注意力路由研究
1 篇报道1 个报道来源14 小时前更新
先了解这件事
AI 综述
2026年10月3日，arXiv cs.LG发布一项研究，将Transformer注意力机制中的查询和键投影约束到Stiefel流形，并采用带切空间投影、步长范数上限和极分解回缩的黎曼Adam优化。在CIFAR-10 patch基准（n=10k）上，该方法比AdamW提升6.79个百分点（12/12配对起点，t=38.33），增益随数据量从n=1k时的1.9个百分点增至n=50k时的6.7个百分点。目前进展限于该单篇报道，后续无更新。
AI 根据报道生成 · 2 小时前更新
最新进展10月3日 12:00
arXiv发布Stiefel流形注意力路由研究，CIFAR-10上较AdamW提升6.79个百分点。报道时间线
沿着报道，了解事件的不同侧面。
10月3日
- arXiv：cs.LG（机器学习，全量分类）不漂移的方向：Transformer 注意力机制的 Stiefel 流形路由
研究将注意力中的查询和键投影约束到 Stiefel 流形，并用带切空间投影、步长范数上限和极分解回缩的黎曼 Adam 优化。在 CIFAR-10 patch 基准（n=10k）上，该方法比 AdamW 提升 +6.79 个百分点（12/12 配对起点，t=38.33），增益随数据量从 n=1k 时的 +1.9pp 增至 n=50k 时的 +6.7pp。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。