热点事件持续更新
TT-OPD：无偏Top-k在线策略蒸馏方法
1 篇报道1 个报道来源5 小时前更新
先了解这件事
报道摘要
针对 Top-k 在线策略蒸馏（TK-OPD）因丢弃 top-k 之外概率质量而产生偏差的问题，研究者提出 Tail-Corrected Top-k On-Policy Distillation（TT-OPD），在保留丰富分布监督和低计算成本的同时，给出反向 KL 散度梯度的无偏估计。
摘自 arXiv：cs.LG（机器学习，全量分类）
报道时间线
沿着报道，了解事件的不同侧面。
10月3日
- arXiv：cs.LG（机器学习，全量分类）面向在线策略蒸馏的无偏 Top-k 估计
针对 Top-k 在线策略蒸馏（TK-OPD）因丢弃 top-k 之外概率质量而产生偏差的问题，研究者提出 Tail-Corrected Top-k On-Policy Distillation（TT-OPD），在保留丰富分布监督和低计算成本的同时，给出反向 KL 散度梯度的无偏估计。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。