研究揭示LLM可解码却答错的机制

Valeria Ruscio 与 Keiran Thompson 发表论文，区分了 LLM 首答案 token 的“读取”与“写入”：在三种 reader 和随机标签控制下，相当一部分失败答案仍可从中间残差状态解码，但最终读出层却选中了另一个内容 token。 论文称，语言模型即使中间状态可解码出正确答案，仍可能给出错误答案，问题出在解码与选择之间的差距。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。