热点事件持续更新

研究比较 LLM 评判器的设计选择影响

1 篇报道1 个报道来源5 小时前更新

先了解这件事

AI 综述

一项研究系统评估了提示词、评分量表和模型选择对 LLM-as-a-Judge 评判结果的影响。作者 Laurène Vaugrante 和 Thilo Hagendorff 测试了 10 个推理模型：在情感与毒性句子的评分任务中（每类超过 500 条），1-7 分制下评委的平均绝对偏差为 0.11 分；在问答对准确率分类任务中（n=600），平均准确率达 96.5%。但设计选择会引入偏移：仅更换评分量表，测得的偏差最多变化 0.93 分；使用详细提示词使宽松度下降 28.9 个百分点；切换模型最多下降 56.1 个百分点。研究称，模型身份是评判结果方差的主要来源。

AI 根据报道生成 · 3 小时前更新

报道时间线

沿着报道，了解事件的不同侧面。

10月7日

12:00
arXiv：cs.AI
LLM-as-a-Judge 的设计选择影响有多大？提示词、评分量表与模型的系统对比
一项研究系统评估了 10 个推理模型在 LLM-as-a-Judge 中的提示词、评分量表和模型选择的影响：评分任务中多数评委可靠（1-7 分制下平均绝对偏差 0.11 分），准确率分类平均达 96.5%。但设计选择会带来偏移，仅更换评分量表即可使测得偏差变化最多 0.93 分，使用详细提示词使宽松度下降 28.9 个百分点，切换模型最多下降 56.1 个百分点，模型身份是方差的主要来源。

本事件热度走势

可比范围当前: 9
可比范围峰值: 910月7日 14:00
近 24 小时变化: –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。