TRACE协议诊断智能体评测验证器脆性

研究团队提出 TRACE 协议，把 LLM 智能体评估中的分数变化从结论转为可检验的诊断，用于判断分数波动来自智能体能力变化还是评估本身。该协议对评估的某一部分做针对性改动，比较配对运行，检查智能体行为是否变化，并对未变化的轨迹重新打分，以测试评分规则是否是原因。 在 25 个合成任务中，仅重命名工具就让脚本化智能体得分下降 0.250，恢复原名后差距完全消失，说明得分变化由评估的验证器脆弱性造成，而非智能体能力变化。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。