Transformer 动力学中前馈层的作用

一项控制论视角的理论研究证明，Transformer 中自注意力之后的前馈层可作为一个独立控制项，无论 key、query、value 矩阵如何取值，都能将 token 驱动到任意接近共识的状态。该结论可扩展至多簇收敛与多头注意力情形，作者通过数值实验验证了结果，并将理论给出的阈值行为与真实 LLM 进行了对比。