同族模型在线策略蒸馏的缩放规律研究

研究揭示在线策略蒸馏（OPD）在弱到强、同基座和强到弱师生设置下的缩放规律：早期训练中，留出准确率（gold score）随学生初始化 token 级反向 KL 散度的平方根近似线性上升。