Anthropic：Transformer Circuits（可解释性研究）·· 13 小时前AI 评分54
Anthropic 提出 SoLU 激活函数，提升 Transformer 神经元可解释性
Softmax Linear Units An alternative activation function increases the fraction of neurons which appear to correspond to human-understandable concepts.
AI 导读
Anthropic 在 Transformer Circuits 发表研究，提出用 SoLU（softmax 线性单元）替代 GeLU 激活函数，在盲测实验中将 MLP 神经元可快速解释的比例从约 35% 提升到约 60%，且测试损失和下游 NLP 评测与基线模型大致相当。
来源：Anthropic：Transformer Circuits（可解释性研究） · transformer-circuits.pub