论文：上下文先验令神经解码置信度排序反转

Xinyu Zhang、Sichao Liu 提交的论文发现，神经解码中融合上下文先验会重塑候选分数，导致置信度排序反转：候选与正确项的分数差距变大时，若正确项初始排名靠前，更可能被修复；若初始排名靠后，反而更难被修复。 在 MEG-MASC 上，区分修复与残留错误的 AUROC 从初始排名 2-3 的 0.70 降至排名 21-50 的 0.39；排名 20 之后起始的错误占融合后总错误的 46.6%。论文还称，分别读取局部与先验分数可改善选择性解码，解码窗口覆盖率从 56.7% 升至 74.5%，92% 的输出候选集仍包含正确答案。 论文称，在词级语言模型先验下，准确率增益见顶后该过程仍在移动，因此按准确率选定的权重并不能稳定置信度。

AI 根据报道生成 · 3 小时前更新