研究指Agent harness演化评测存在两大缺陷

Yike Wang等作者发表论文，重新审视自动 harness 演化（automatic harness evolution）的评测方法，指出当前协议存在两个根本问题：一是未在匹配的反馈与推理预算下与简单基线对比，二是用同一 benchmark 的验证信号搜索配置、又在同一 benchmark 上报告结果，违反训练测试分离原则。 作者据此提出匹配预算与留出任务评估，以修正上述评测缺陷。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。