研究：LoRA中梯度归因掩码不如随机掩码
热点事件持续更新
研究：LoRA中梯度归因掩码不如随机掩码
1 篇报道1 个报道来源12 小时前更新
先了解这件事
AI 综述
一项发表在 arXiv 的研究发现，在 LoRA 的持续学习场景中，静态梯度归因掩码的效果不如密度匹配的随机掩码。研究者 Yu Sun 等将两种方法限制在同一参数池内比较，在 Qwen2.5-3B 上、七个随机种子下，统一随机掩码一致取得更低的基于损失的反向迁移。 作者指出，此前比较存在参数池混淆：零初始化 LoRA 下对 A 矩阵的梯度恒为零，梯度掩码实际只选 B 矩阵参数，而随机掩码覆盖 A 和 B。将两者限制到同一参数池后，梯度归因的优势消失。该结果集中在贡献 80% 聚合值的医疗任务上，作者称其与稳定性—可塑性权衡一致。
AI 根据报道生成 · 1 小时前更新
最新进展10月12日 12:00
在 LoRA B 矩阵内，静态梯度归因在基于损失的遗忘上不如密度匹配的随机掩码报道时间线
沿着报道，了解事件的不同侧面。
10月12日
- arXiv：cs.LG在 LoRA B 矩阵内，静态梯度归因在基于损失的遗忘上不如密度匹配的随机掩码
研究在 Qwen2.5-3B 上比较了静态梯度归因与随机掩码在 LoRA B 矩阵参数池中的连续学习表现，发现统一随机掩码在七个随机种子下一致取得更低的基于损失的反向迁移。作者指出此前比较存在参数池混淆：零初始化 LoRA 下对 A 的梯度恒为零，梯度掩码只选 B，而随机掩码覆盖 A 和 B。该优势集中在贡献 80% 聚合值的医疗任务上，且与稳定性—可塑性权衡一致。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。