跳到正文
热点事件持续更新

trajectory-judge 论文发布:LLM 轨迹评判的配对判别方法

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

Hadi Mohammadi 发布论文 trajectory-judge,提出用配对判别测试 LLM 智能体轨迹评审:向正确运行注入故障,与干净运行对比,看评审能否区分。 论文称,仅看请求和最终回复的 14B 评审模型,对回复不变的故障召回率 34% 到 76% 实为误报。作者建议按故障是否进入评审输入、结果是否存活分别报告配对判别结果,并公开测试台、原始判定和分析流程。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月5日
  1. arXiv:cs.AI
    trajectory-judge:只看结果的 LLM 评审在智能体轨迹评测中漏掉了什么

    论文提出评测 LLM 智能体轨迹评审的新方法,通过向正确运行注入故障并对比干净运行的配对区分度,揭示仅看请求和最终回复的 14B 评审模型对回复不变的故障召回 34% 到 76% 实为误报。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。