多头自注意力被证明具高斯等价性
热点事件持续更新
多头自注意力被证明具高斯等价性
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
Tomohiro Hayase 与 Ryo Karakida 发表论文，用随机矩阵理论证明多头自注意力的 Gaussian 等价性：把 softmax 注意力替换成缩放后的分数加高斯噪声，中心化输出的极限谱定律保持不变。 该等价性覆盖依赖 key 的 value 和输出投影，所得谱定律能分离头分配与投影宽度的影响，并区分跨头共享权重的谱保持性与头内 key-value 依赖性。
AI 根据报道生成 · 1 小时前更新
最新进展10月8日 12:00
多头自注意力机制的 Gaussian 等价性报道时间线
沿着报道，了解事件的不同侧面。
10月8日
- arXiv：cs.LG多头自注意力机制的 Gaussian 等价性
研究者利用随机矩阵理论证明了多头自注意力的 Gaussian 等价性：将 softmax 注意力替换为缩放分数加 Gaussian 噪声，可保持中心化输出的极限谱定律不变。该等价性还覆盖了依赖 key 的 value 和输出投影，得到的谱定律能分离头分配与投影宽度的影响，并区分跨头共享权重的谱保持性与头内 key-value 依赖性。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。