CoDe-LoRA缓解LLM持续学习正交困境

研究者 Maoqi Liu、Quan Fang、Yufei He 提出无回放的持续学习方法 CoDe-LoRA，用于缓解 O-LoRA 等正交投影方法在 LLM 持续学习中面临的“正交性困境”。该方法将学习过程拆分为通用知识巩固与任务特定知识解耦，并以自适应零空间投影与语义路由平衡知识积累和任务适配。 据该工作称，在四个骨干模型和三个持续学习基准上，CoDe-LoRA 取得最佳平均准确率。该工作已被 EMNLP 2026 主会接收，代码已开源。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。