多语言模型中层跨语言相似性获理论解释

Darshil Doshi 等作者提交论文，为多语言语言模型跨语言表示相似性在中层达到峰值这一现象提出理论解释。他们假设数据具有隐藏的层级结构：抽象层跨语言共享，表层则与语言或模态相关；用共享上层、不共享下层产生式规则的概率上下文无关文法生成合成语言。 在该设定下，作者证明贝叶斯最优下一 token 预测器为信念传播（BP），将其消息编码进逐层结构后，所得预测与同数据训练的 Transformer 高度吻合。这一结果来自合成语言实验，并非对真实多语言模型的直接验证。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。