热点事件观察中

新评测法分离放射报告问答的可答性与抽取

1 篇报道1 个报道来源2 天前更新

先了解这件事

AI 综述

研究提出一种评估放射报告问答的方法，把任务拆成“报告是否包含答案”与“答案出自哪个片段”两个决策，在 F1 之外单独报告误答率和过度弃答率，并把 F1 变化拆分为抽取项与可答性项。作者 Priyanshu Sinha、Kelsey McDonald 等将该方法应用于 13 个 LLM 在 RadQA 测试集上的表现，进行零样本及三组累积示例测试，最后一组加入一个不可答示例。结果显示，F1 相近的模型误答率相差逾两倍；加入该不可答示例后，13 个模型中有 12 个更常弃答，而其撤回的答案中四分之三的 F1 ≥ 0.5。

AI 根据报道生成 · 1 天前更新

最新进展10月15日 12:00

将“可答性”与“抽取质量”解耦：LLM 放射报告问答评估新方法

报道时间线

沿着报道，了解事件的不同侧面。

10月15日

12:00
arXiv：cs.AI
将“可答性”与“抽取质量”解耦：LLM 放射报告问答评估新方法
研究提出一种评估方法，把放射报告问答拆成“报告是否包含答案”与“答案出自哪个片段”两个决策，在 F1 之外单独报告误答率和过度弃答率。在 RadQA 测试集上对 13 个 LLM 做零样本及三组累积示例测试，F1 相近的模型误答率相差逾两倍；加入一个不可答示例后 13 个模型中有 12 个更常弃答，其撤回答案中四分之三的 F1 ≥ 0.5。

本事件热度走势

可比范围当前: 3
可比范围峰值: 510月16日 10:00
近 24 小时变化: -49%

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。