arXiv研究揭示真值探针完美混叠效应

arXiv 上发布的一项研究（作者 Dylan Jayabahu）发现，在线性探针用于合规（盟友）语境时，真实比特与任务规定答案的标签完全一致，作者称之为“完美混叠”，即探针无法区分二者。 作者在奖励训练的 Gemma-2-9B 上测得，盟友拟合探针最终层 AUROC 仅 0.006±0.005，而混合拟合探针在同一留出激活上达 1.000；在指令微调的 Llama-3.1-8B 上，同一批试验中两个探针的盟友准确率均为 1.000，但对手真值 AUROC 分别为 0.080 和 0.986。作者称，这种拟合标签歧义可产生相同的读出结果。

AI 根据报道生成 · 50 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。