图 Transformer 为何少有注意力汇
热点事件持续更新
图 Transformer 为何少有注意力汇
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
一项 arXiv 论文发现，当前最优的图 Transformer 模型 GRIT 很少在单个 token 上聚集注意力，即很少形成 LLM 中常见的 attention sink，且分子图越大这一现象越弱，与 LLM 中注意力汇随规模增强的趋势相反。 论文作者 Alexandre Bismuth 将原因归于 GRIT 的门控 logit 评分函数。在相同图上把该评分函数换成点积后，注意力汇出现率从 0.09 升至 0.68。
AI 根据报道生成 · 1 小时前更新
最新进展10月15日 12:00
为什么 Graph Transformer 不在同一个 token 上聚集注意力？报道时间线
沿着报道，了解事件的不同侧面。
10月15日
- arXiv：cs.LG为什么 Graph Transformer 不在同一个 token 上聚集注意力？
研究发现 SoTA 图 Transformer GRIT 在分子上很少形成 attention sink，且图越大 sink 越少，与 LLM 的趋势相反。原因是 GRIT 的门控 logit 评分函数：将其换成点积后，相同图上 sink 率从 0.09 升至 0.68。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。