SVC：用奇异向量通道选择做LLM持续学习
热点事件持续更新
SVC：用奇异向量通道选择做LLM持续学习
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
研究者提出一种叫 SVC 的参数高效持续学习方法，用于大语言模型。它不再按普通参数更新，而是以“奇异向量通道”为单元，只选择性更新一部分通道。Lingxiang Wang 等作者在论文中称，SVC 先用领域数据估计各通道的适应收益，再用公开通用语料作为历史激活的代理来估算遗忘成本，随后通过 knee-based 成本筛选、Pareto 前沿过滤和 Otsu 阈值自动选出可训练的通道。 作者报告，在四个 LLM 系列、八项下游任务上，SVC 相比现有 PEFT 基线更好地保留了模型的预训练能力，即更接近稳定性与可塑性之间的平衡。
AI 根据报道生成 · 1 小时前更新
最新进展10月9日 12:00
通过奇异向量选择实现 LLM 持续学习中的稳定性-可塑性平衡报道时间线
沿着报道，了解事件的不同侧面。
10月9日
- arXiv：cs.AI通过奇异向量选择实现 LLM 持续学习中的稳定性-可塑性平衡
研究者提出 SVC，一种参数高效的 LLM 持续学习方法，以奇异向量通道为单元选择性更新参数。SVC 先用领域数据估计各通道的适应收益，并以公开通用语料作为历史激活代理估算遗忘成本，再通过 knee-based 成本筛选、Pareto 前沿过滤和 Otsu 阈值自适应选取可训练通道。在四个 LLM 系列、八项下游任务上，SVC 相比现有 PEFT 基线更好地保留了预训练能力。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。