ReGRA：两阶段低秩微调新方法

Fanyao Li 等作者提出两阶段低秩微调方法 ReGRA：在固定 rank 预算下，先估计任务梯度并去除其在第一阶段更新子空间上的投影，再以残差梯度方向初始化第二阶段适配器，并用正交正则鼓励两次更新捕获互补方向。 据论文，两次更新可合并进预训练权重，不增加推理开销；在多个基准上，ReGRA 优于同等总 rank 的方案，并可媲美 rank 翻倍的 LoRA 适配器。上述基准结果均为论文报告，尚未经独立验证。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。