论文：蒸馏前审计推理迁移工作流

Tiago Martinelli 等发表了一项关于将推理能力迁移到紧凑医疗语言模型的受控工作流研究，主张在蒸馏前先审核教师模型的推理链。 研究以巴西葡萄牙语住院医师考试题为测试对象，发现教师模型的完整推理链在教师答案正确时，可将学生模型选对答案的概率提升 21 个百分点；教师答错时，则使学生选对答案的概率降低 14 个百分点。打乱推理内容后，上述模式消失。论文由此指出，教师推理可能帮助小模型作答，也可能强化其错误。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。