本文是后训练系列第五篇，讲解 reward model 如何从人类偏好选择中学习打分。文章以 OpenAI 开放权重模型 gpt-oss-120b 和 gpt-oss-20b 的回答比较为例，说明标注数据只记录 chosen 与 rejected，Bradley-Terry 模型把分差经 sigmoid 转为概率，损失为 −log σ(分差) 的 cross-entropy。