HuggingFace Daily Papers(社区热门论文)·· 14 小时前AI 评分38
SAKI:面向同策略蒸馏的最大耦合路由教师监督方法
SAKI: Maximal-Coupling-Routed Teacher Supervision for On-Policy Distillation
AI 导读
SAKI(Supervision Allocation with KL-constrained Interpolation)通过 KL 约束的教师引导 rollout 与最大耦合,将 token 级监督路由到接受与纠正两类位置,纠正概率恰为 TV(p_t, q_t)。
来源:HuggingFace Daily Papers(社区热门论文) · huggingface.co