PASS：长尾先验下的自适应SFT指令选择

研究者 Haohui Wang 等人提出自适应监督微调（SFT）指令选择方法 PASS，用于应对长尾分布下的“先验壁垒”。研究称，预训练模型对竞争概念的支撑强度呈长尾分布：高频概念壁垒低，尾部概念壁垒高，需要更多指令才能克服。 PASS 通过构建参考衍生概念、估计每条指令提供的区分性证据，并把选择预算自适应分配给当前选择中覆盖不足的概念。研究者的实验称，PASS 在四组骨干模型-预算设置下持续优于七种现有指令选择方法，消融研究显示其自适应分配优于均匀分配。

AI 根据报道生成 · 49 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。