Anthropic：Transformer Circuits（可解释性研究）·· 13 小时前AI 评分40
Anthropic 可解释性团队 Circuits Updates：稀疏自编码器与 crosscoder 的字典学习优化技巧
Circuits Updates — January 2025 A collection of small updates: dictionary learning optimization techniques.
AI 导读
Anthropic 可解释性团队分享了训练稀疏自编码器和 crosscoder 的字典学习优化设置，包括 JumpReLU 激活、tanh 稀疏惩罚和 pre-act loss 等技巧。
来源：Anthropic：Transformer Circuits（可解释性研究） · transformer-circuits.pub