Anthropic：Transformer Circuits（可解释性研究）·· 13 小时前AI 评分40
Anthropic 可解释性团队 2024 年 3 月 Circuits 研究更新
Circuits Updates — March 2024 A collection of small updates from the Anthropic Interpretability Team.
AI 导读
Anthropic 可解释性团队发布 2024 年 3 月 Circuits 更新，展示用稀疏自编码器（SAE）特征替代行为数据集来定位语言模型电路。在 18 层模型第 9 层残差流上，团队用归因分数自动识别出篮球、棒球、网球特征，并找到对篮球特征产生最大直接 logit 效应的注意力头，主要位于第 11、13、14 层。
来源：Anthropic：Transformer Circuits（可解释性研究） · transformer-circuits.pub