线性注意力非线性目标学习理论获扩展

一项预印本论文将线性注意力的上下文学习理论扩展到非线性单指标目标 y=f(x^⊤w)+ε。作者 Mary Letey 等提出“非线性-噪声等价”结论：线性注意力只提取 f 的线性 Hermite 分量，其余非线性结构作为有效噪声计入泛化误差。 该结论使线性理论结果可迁移至非线性任务，并揭示任务多样性增加时从任务记忆到任务泛化的转变，以及有限预训练数据的影响；论文同时指出简化线性注意力模型的局限。

AI 根据报道生成 · 54 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。