arXiv：cs.CL（计算语言学，全量分类）· Gurbir Arora, Toni J. B. Liu, Jiajun Bao, Rapha\"el Sarfati, Christopher J. Earls·· 1 天前AI 评分40
LLM 组合任务中的因果与可解释结构研究
Causal and Interpretable Structures in LLM Compositional Tasks
AI 导读
研究揭示 LLM 在循环概念（月份、小时、星期、音符）组合任务中的分层机制：中间层基于两个 token 的推断关系构建联合表示，后层则使用涉及全部三个 token 的联合表示完成任务。该规律在 Llama、Qwen、Gemma 和 Mistral 上一致成立，且限制模型仅使用因果相关的联合表示反而提升了下一 token 预测准确率。
来源：arXiv：cs.CL（计算语言学，全量分类） · arxiv.org