arXiv 论文：监督 LLM 智能体应看干预价值而非失败分数

Chubin Zhang 等作者在 arXiv 提交论文《Calibration Is Not Control: Intervention Value for LLM-Agent Oversight》，提出 LLM 智能体运行时监督不应只依赖校准后的失败分数阈值：失败风险相同的状态在干预收益上可能不同，严格递增的再校准也无法区分二者。 在 ALFWorld 上，固定特征、估计器和路由器不变，仅把监督目标从失败改为干预效用，regret 从 0.51 降至 0.09，该结果在一组 mid-episode 前缀上复现。在线实验中，300 个未见任务、固定强模型接管，冻结前缀特征控制器相比按失败触发的路由提升效用，接管更少（35% 对 48%），成功率更高（45% 对 37%）。作者称增益取决于干预价值，在两个推理基准上较小，代码已公开。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。