马东锡 NLP 发布 Post Training 系列第五篇，主题为 Reward Model，称其是 Bradley-Terry 的倒影。文章围绕选择如何变成损失、损失如何改变网络、网络结构长什么样，以及 RM 在训练中还学到了什么展开，作者自评内容“非常干”。