arXiv：cs.LG（机器学习，全量分类）· Tiexin Ding·· 1 天前AI 评分36
通过行列尺度场看 Transformer 权重的介观结构
A Mesoscopic View of Transformer Weights Through Row and Column Scale Fields
AI 导读
研究提出用行、列尺度场这一介观层级刻画 Transformer 权重，即权重矩阵各通道的中位数中心化对数 RMS 剖面，配合全局尺度与平衡核心可精确表示矩阵。在四个规模的公开 Pythia checkpoint 和三个初始化家族的受控实验中，平衡后测得的核心幅度剖面相似，混合桥模型能预测留出运行中池化形状相对场宽的偏离。
来源：arXiv：cs.LG（机器学习，全量分类） · arxiv.org