热点事件持续更新
注意力流形：用B样条曲面引导语言模型
1 篇报道1 个报道来源13 小时前更新
先了解这件事
AI 综述
2026年10月3日，arXiv cs.LG 分类发布一项研究，提出“注意力流形”——一种基于 query-key 交互调制 value 各维度的可学习 2D B 样条曲面，并以零初始化保持预训练行为。研究将该方法应用于 LLaMA 3.2-1B-Instruct 和 3B-Instruct，结果显示 WikiText-2 验证困惑度降低 2–2.5 点，参数开销仅 0.3%。报道称该方法可通过编辑学习到的曲面来引导或阻断语言模型。目前该工作处于论文发布阶段，尚无后续复现或应用进展的报道。
AI 根据报道生成 · 1 小时前更新
最新进展10月3日 12:00
arXiv 发布“注意力流形”研究，称可降低困惑度且参数开销仅 0.3%。报道时间线
沿着报道，了解事件的不同侧面。
10月3日
- arXiv：cs.LG（机器学习，全量分类）注意力流形：通过编辑学习到的 B 样条曲面来引导或阻断语言模型
研究提出"注意力流形"——基于 query-key 交互调制 value 各维度的可学习 2D B 样条曲面，以零初始化保持预训练行为。应用于 LLaMA 3.2-1B-Instruct 和 3B-Instruct 后，WikiText-2 验证困惑度降低 2–2.5 点，参数开销仅 0.3%。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。