LoRA黎曼度量预条件方法提出

研究者提出一种专为LoRA（低秩适配）设计的黎曼度量，通过等价关系 (B, A) ~ (BG⁻¹, AGᵀ) 诱导的商流形消除冗余方向，并在每次梯度步引入预条件，目的是缩小LoRA与全量微调在权重层面的差距。 该研究证明，这一预条件使LoRA的权重更新在LoRA参数化允许的一阶变化子空间内最接近全量微调梯度方向，且更新后权重矩阵的Frobenius范数比常规预条件和无预条件LoRA更接近全量微调。 据论文称，语言与视觉领域的微调实验验证了该方法的有效性与效率。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。