提出四项测试审计失败归因基准
热点事件持续更新
提出四项测试审计失败归因基准
1 篇报道1 个报道来源21 小时前更新
先了解这件事
报道摘要
针对失败归因基准，论文提出四项测试以区分 LLM 评判者是真正核查出错步骤还是依赖表面线索。在三个基准上，简单预测器即可匹配或超越 GPT-4.1；在 Who&When Pro 的两个系统中，仅读单步推理的分类器能找出 95-100% 的出错步骤。在 Aegis 上，指责所有智能体在 micro-F1 上追平 GPT-4.1，但 exact-set accuracy 落后 19 分。
摘自 arXiv：cs.AI
最新进展10月15日 12:00
审计失败归因：标签可预测性与评判行为报道时间线
沿着报道，了解事件的不同侧面。
10月15日
- arXiv：cs.AI审计失败归因：标签可预测性与评判行为
针对失败归因基准，论文提出四项测试以区分 LLM 评判者是真正核查出错步骤还是依赖表面线索。在三个基准上，简单预测器即可匹配或超越 GPT-4.1；在 Who&When Pro 的两个系统中，仅读单步推理的分类器能找出 95-100% 的出错步骤。在 Aegis 上，指责所有智能体在 micro-F1 上追平 GPT-4.1，但 exact-set accuracy 落后 19 分。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。