CGTR自蒸馏教师刷新门控方法提出
热点事件持续更新
CGTR自蒸馏教师刷新门控方法提出
1 篇报道1 个报道来源12 小时前更新
先了解这件事
AI 综述
Haowei Guo 等作者发布论文,提出 Consolidation-Gated Teacher Refresh(CGTR)方法:在自同策略蒸馏中保留教师模型更新的隔离期,并以奖励提升与长度尾部安全的联合证据作为每次刷新的门控条件。 论文称,在 Qwen3-8B 上的受控调度扫描发现,决定稳定学习的是教师更新之间的完全冻结期,而非教师模型的新旧程度;时序 KL 结构诊断框架显示,短视最优的固定调度在长时训练中会因时钟驱动刷新出现状态无视崩溃。CGTR 在 Chemistry、Biology、Physics、ToolUse 四项任务上报告零崩溃并取得最佳最终得分。
AI 根据报道生成 · 2 小时前更新
最新进展10月12日 12:00
教师模型何时该更新?自同策略蒸馏中的时序耦合与稳定性研究报道时间线
沿着报道,了解事件的不同侧面。
10月12日
- arXiv:cs.AI教师模型何时该更新?自同策略蒸馏中的时序耦合与稳定性研究
在 Qwen3-8B 上的受控调度扫描发现,教师模型更新之间的完全冻结期(isolation periods)而非教师模型新旧程度,才是稳定学习的关键。研究提出时序 KL 结构诊断框架,揭示短视最优固定调度在长时训练中会因时钟驱动刷新导致"状态无视崩溃"。为此提出的 CGTR 在 Chemistry、Biology、Physics、ToolUse 四项任务上实现零崩溃和最佳最终得分。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。