无标签评分细则澄清提升LLM评审共识

Sangdo Han 与 Moonsoo Kim 发表论文，测试一种无标签方法能否通过修订评分细则来减少 LLM 评委之间的分歧。该方法把每条标准拆成子标准，按跨评委分歧排序，由编辑模型只重写争议最大的条款，全程不使用人类标签来挑选或修改条款，人类标签仅用于评估最终结果。 研究在 SummEval、HealthBench 元评估和 USR Topical-Chat 上，用来自三家提供商的五名评委组成评审组，评估了六种细则条件，并预先注册了四项假设。结果显示，这种方法提升了 LLM 评委之间的一致性，但没有让评分更贴近人类判断。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。