研究者提出自适应互蒸馏多任务后训练框架AMD

Baohang Li等作者提出自适应互蒸馏（AMD），一种面向大语言模型多任务后训练的协同训练框架。其做法是联合训练两个采用不同任务平衡策略的模型，通过跨任务共享的短训练探针评估蒸馏权重调整，再按任务和迁移方向用验证分数选择调整方案。 上述内容来自作者在arXiv cs.CL发布的论文，目前仅为框架提出，报道中未给出实际效果验证。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。