热点事件持续更新
偏好蒸馏缩放：小模型生成更优拒绝样本
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
2026年10月2日，HuggingFace Daily Papers 收录一篇关于偏好蒸馏规模规律的研究。该研究在 7B 到 72B 的学生模型上发现，使用更小的冻结模型生成拒绝样本，比学生模型自生成拒绝样本的推理成本更低、训练效果更好，这一结论在代码生成和数学推理任务上均成立。研究推导出 DPO 的有限时域效用上界，并据此提出三种干预措施：混合更小模型与学生规模模型的拒绝样本、将拒绝样本重新分配给其他提示词、优先选择参考策略下似然更低的候选样本。
AI 根据报道生成 · 1 小时前更新
最新进展10月2日 05:42
新论文发现更小冻结模型生成的拒绝样本训练效果更好、成本更低。报道时间线
沿着报道，了解事件的不同侧面。
10月2日
- HuggingFace Daily Papers（社区热门论文）更小的模型，更好的拒绝样本：偏好蒸馏的规模规律
偏好蒸馏研究发现在 7B 到 72B 的学生模型上，用更小的冻结模型生成拒绝样本比自生成拒绝样本推理成本更低、训练效果更好，在代码生成和数学推理任务上均成立。研究推导出 DPO 的有限时域效用上界，并据此提出三种干预：混合更小模型与学生规模模型的拒绝样本、将拒绝样本重新分配给其他提示词、优先选择参考策略下似然更低的候选样本。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。