研究者发布LLM引用验证器幻觉基准HALLMARK

研究者 Kayoon Kim、Wieland Brendel、Patrik Reizinger 发布 HALLMARK 基准，用于诊断 LLM 引用校验器并判断其何时适合部署。该基准包含 2,526 条 BibTeX 条目，覆盖 14 种幻觉类型，并带有分类型与诊断子测试标签，以及时间、跨领域和真实场景评测划分，用于对比零样本与工具增强 LLM、DOI 查询基线和自研规则校验器 bibtex-updater。 论文指出，验证器既可能漏掉幻觉，也可能误标正确论文，因此每个标记仍需人工复核；假阳性率决定复核工作量，进而限制其部署。研究者呼吁社区给出统一定义，并已发布分类型标签和重打分协议，使任何达成共识的定义都能用于评估每个验证器。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。