高斯混合上 softmax 注意力无限提示极限研究

Simon Gabet 等作者发表论文，研究高斯混合数据上 softmax attention 的无限提示词极限。他们发现，该机制既能像线性 attention 一样有效恢复线性任务，又能利用依赖查询的上下文选择解决线性 attention 无法处理的非线性任务。 研究通过基于梯度的方法证明，softmax attention 可表示并学习监督分类和去噪等统计任务的最优解。该工作选择高斯混合，是因为它保留高斯数据的可处理性，同时引入潜在结构、多模态和非线性依赖。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。