热点事件观察中

研究提出以任务结果校准智能体逐步置信度

1 篇报道1 个报道来源2 天前更新

先了解这件事

AI 综述

Ashutosh Hathidara 等人提交预印本论文，提出一种结果导向的置信度校准方法：在 GRPO 下，用同一任务多次 rollout 提供的成功标签，按恰当评分规则将智能体每一步的置信度与实际结果对齐。论文报告，在 Qwen2.5-7B 于 ALFWorld、TextWorld、WebShop 录制轨迹上的离线 RL 中，步置信度对任务结果的 AUROC 从接近随机升至 0.68-0.85，置信度最高 10% 的步骤成功率约为平均的 4.3 倍；在实时 ALFWorld 的在线 RL 中，四种校准奖励使早期步 AUROC 提升，预期校准误差从 0.42 降至 0.12 以下。论文还提出一套评估协议，区分回合深度、任务难度和尝试级预判能力。以上为论文自报结果。

AI 根据报道生成 · 1 小时前更新

最新进展10月13日 08:00

LLM 智能体能否学会预判自身失败？基于结果置信度校准

报道时间线

沿着报道，了解事件的不同侧面。

10月13日

08:00
HuggingFace Daily Papers
LLM 智能体能否学会预判自身失败？基于结果置信度校准
研究提出在 GRPO 下用多步任务的实际结果校准 LLM 智能体每步的置信度信号。在 Qwen2.5-7B 的 ALFWorld、TextWorld 和 WebShop 离线 RL 中，步置信度对任务结果的 AUROC 从接近随机升至 0.68-0.85，置信度最高 10% 的步骤成功率约为平均的 4.3 倍。

本事件热度走势

还没有足够的连续观测数据，暂不绘制趋势。