Tree SAE：学习稀疏自编码器层级特征

研究者提出 Tree SAE，通过同时施加激活约束与新的重建约束，让稀疏自编码器（SAE）直接学习特征层级结构，以解决仅靠激活覆盖判断层级关系易产生假阳性的问题。 作者称，Tree SAE 在层级特征对的学习上显著超越现有 SAE，并在多个关键基准上保持与当前最优方法（SOTA）相当的竞争力；该模型还可用于映射子特征子空间几何，并揭示大语言模型内部的复杂层级概念结构。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。