VLM幻觉评测Yes/No抽取偏差影响POPE结果
热点事件观察中
VLM幻觉评测Yes/No抽取偏差影响POPE结果
1 篇报道1 个报道来源2 天前更新
先了解这件事
AI 综述
一项针对POPE幻觉基准的审计发现，评估代码中的Yes/No抽取方式本身就会改变F1分数。作者称，在复现LLaVA-1.5-7B的幻觉缓解结果时，按双token logit读出的"yes"（3582次）和"no"（1217次）在9000道题中从未被模型生成；模型实际输出的是带空格的" Yes"（3869次）和" No"（1939次）。 这意味着POPE上基于该抽取协议得到的分数可能混入了评测方式带来的偏差，而不只是模型幻觉表现；受影响的范围是使用这一Yes/No抽取方法的VLM幻觉评估。该论文发布于HuggingFace Daily Papers。
AI 根据报道生成 · 6 小时前更新
最新进展10月19日 08:00
Token-Set Choice 混淆 POPE：VLM 幻觉评估中 Yes/No 抽取的系统性审计报道时间线
沿着报道，了解事件的不同侧面。
10月19日
- HuggingFace Daily PapersToken-Set Choice 混淆 POPE：VLM 幻觉评估中 Yes/No 抽取的系统性审计
研究在复现 POPE 幻觉缓解结果时发现，LLaVA-1.5-7B 的 Yes/No 抽取方式本身就会影响 F1：两 token logit readout 比较的 3582 "yes" 与 1217 "no" 在 9000 道题中从未被生成，模型实际输出的是带空格的 " Yes"（3869）和 " No"（1939）。
本事件热度走势
- 可比范围当前
- 3
- 可比范围峰值
- 410月20日 20:00
- 近 24 小时变化
- –
01234
20:0021:0022:0023:0010月21日01:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。