跳到正文
原文
HuggingFace Daily Papers(社区热门论文)·· 14 小时前AI 评分38

SAKI:面向同策略蒸馏的最大耦合路由教师监督方法

SAKI: Maximal-Coupling-Routed Teacher Supervision for On-Policy Distillation

AI 导读

SAKI(Supervision Allocation with KL-constrained Interpolation)通过 KL 约束的教师引导 rollout 与最大耦合,将 token 级监督路由到接受与纠正两类位置,纠正概率恰为 TV(p_t, q_t)。

来源:HuggingFace Daily Papers(社区热门论文) · huggingface.co