SAZO：样本自适应零阶后训练方法

研究者提出样本自适应零阶优化方法 SAZO，通过在线学习样本重要性并自适应分配查询来加速大语言模型微调收敛。该方法从现有方向差分中提取梯度范数信息估计样本重要性，仅比 MeZO 多 O(N) 标量状态且无需额外模型评估。 在四个模型族上的实验显示，相同训练损失下查询次数收敛速度最高提升 6 倍。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。