Anthropic：Transformer Circuits（可解释性研究）·· 13 小时前AI 评分47
Anthropic 提出稀疏线性变换混合 MOLT，作为 transcoder 的替代方案
Sparse mixtures of linear transforms We investigate sparse mixture of linear transforms (MOLT), a new approach to transcoders.
AI 导读
Anthropic 可解释性团队提出稀疏线性变换混合（MOLT），用稀疏激活的线性变换替代 MLP 层，比 transcoder 更省算力、更忠实于模型机制。MOLT 学习的是对残差流施加线性变换的计算单元，而非嵌入激活空间方向的稀疏特征，可标注 attribution graph 的边。
来源：Anthropic：Transformer Circuits（可解释性研究） · transformer-circuits.pub