研究提出空间归纳头解释多维元胞自动机上下文学习

Kimia Kazemian 等作者发布论文，提出"空间归纳头"机制，用于解释 Transformer 如何在多维元胞自动机中实现上下文学习。作者称该机制是两层"收集-匹配"电路：第一层重建相关的空间邻域，第二层将重建后的配置与先前出现的位置进行匹配。 据作者描述，这一机制针对的问题是多维元胞自动机中的空间邻居在序列化后会被分散，Transformer 需要先恢复邻域结构才能完成匹配。论文将空间归纳头定位为对上述上下文学习过程的电路级解释。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。