研究：LLM Agent 回复可用性指标与 54% 失败率

Yilin Jiang 等作者发表论文，提出“回复可用性”（reply usability）指标，并用 reader model 从请求者视角判断 Agent 回复能否被理解和使用；该指标与五名标注者多数意见的一致性落在单个标注者区间内。 研究测量八款来自七个家族的模型共 480 条回复，54% 未能通过可用性判断，表现最好的模型失败率仍有 30%。作者称，明确写出对回复的要求可将失败率从 0.52 降至 0.43（合并错误与遗漏后的结果），再由第二个模型改写回复可降至 0.36，该结果经人工标注者在盲测中确认。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。