GRADE：小模型微调的梯度准入新方法

Hongyu Cao 等人提出数据中心化框架 GRADE，用于 LoRA 微调小语言模型时应对梯度冲突、静态数据选择和子空间饱和问题。据其论文，GRADE 包含两个机制：状态感知选择器持续准入与不断变化的多任务梯度场对齐的样本；自校准步级门控在接近饱和时拒绝可能造成破坏性覆盖的更新。 研究者在三种主干模型和七个异构指令数据集上测试，称 GRADE 在准确率与鲁棒性上均优于强数据选择和 PEFT 稳定化基线，且是唯一在每个架构上均稳定超过标准 LoRA 的方法。这些结果为论文报告，尚待独立验证。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。