马东锡NLP解释预训练后为何还需后训练

马东锡NLP发文解释预训练之后为何还需后训练：预训练只教模型猜下一个词，基座模型因此不会听指令、可能输出有害内容、不擅长长链条推理。 他称后训练接着训练同一模型，用规模小得多的精细数据调整其行为，主要含三种技术：指令微调（看示范）、偏好对齐（靠比较，如RLHF/PPO、DPO）和RLVR（用检查器判对错）。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。