马东锡NLP发文解释预训练之后为何还要后训练：预训练只教模型猜下一个词，基座模型因此不会听指令、可能输出有害内容、不擅长长链条推理。后训练接着训练同一模型，用规模小得多的精细数据调整行为，主要含指令微调（看示范）、偏好对齐（靠比较，如RLHF/PPO、DPO）和RLVR（用检查器判对错）三种技术。