研究：LLM 评判器评分格式影响数据筛选

一项新提交的研究考察了 LLM 评判器的评分格式如何影响指令微调数据的筛选效果。作者 Lovedeep Gondara 等人固定候选池、评判提示词、解码与选择预算，用 3 个 LLM 评判器以 5 种格式为 15,406 条 UltraFeedback 候选数据打分，据此筛选数据、微调 66 个模型，再用 4 个评判器评估结果。 该研究目前仅有论文摘要层面的信息，尚未披露各格式之间的具体评分差异、筛选结果的优劣对比，以及微调后模型评估表现的具体数据。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。