BiToK-SD：双层Top-K选择用于LLM自蒸馏

Heng Liang等作者提出BiToK-SD，一种基于双层优化的Top-K Token选择方法，用于大语言模型的自蒸馏。该方法让模型学习蒸馏应施加在哪些Token位置，以替代均匀蒸馏和固定启发式选择；具体做法是把Top-K Token选择建模为可微的阈值松弛，使选中位置随学生策略演变而自适应调整，上层则在选中位置执行知识蒸馏。 作者报告称，在数学推理基准上，BiToK-SD取得对比方法中最佳的平均性能，且仅需轻量额外计算。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。