研究者提出二维极简Transformer可视化框架

Raneem Mahajne 与 Toviah Moldwin 提交论文，提出一种构建和解释极简 Transformer 的框架：把嵌入维度和注意力头大小都限制为 2，使内部表示可以在二维中完整可视化。 据论文描述，模型被训练在数字序列中识别“+”后输出最近出现的偶数；训练后嵌入、Q/K/V 变换、注意力矩阵与决策边界均可直接观察，学到的几何结构可被解读为逐步算法。该工作同时提供 15 张图表的可解释性可视化套件与训练动态动画。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。