arXiv 研究：智能体失败归因高分多来自结构捷径

arXiv 一项由 Ramesh Arvind Naagarajan 与 Stefan Streif 提交的研究指出，LLM 智能体失败检测与归因任务上报告的性能，很大部分来自无需模型的规律：失败运行更长，被标为决定性步骤的通常是最后一步。一条“总选最后一步”的规则完全不读运行内容，在此处正确率即可达 67% 至 96%。 但该规律并不稳固。在回放能够确认决定性步骤的失败上，这条规则的正确率降至接近随机；经此校正后，所测方法在“放弃型”失败上不再有增益，而若干已发表系统在其他数据划分上仍保持明显优势。 检测方面，研究称智能体的内部状态在智能体基准上优于对话记录长度和文本相似度，并在文本基线失效处仍然有效。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。