大语言模型注意力机制演进综述：机制、权衡与新兴趋势

一篇综述将 LLM 注意力机制的发展重新梳理为"模型内部上下文记忆"，提出记忆表示、更新、访问、读出与整合的五维分析框架。该研究基于 14 个主要模型谱系和 11 个高性能开源权重端点的 59 条发布级记录，重建了机制层面的演进与架构采用情况。作者指出，高效序列架构设计正从孤立的 Attention 算子转向上下文记忆的组织、生命周期与选择性使用。