热点事件持续更新
LSL 框架缓解 LLM 灾难性遗忘
1 篇报道1 个报道来源13 小时前更新
先了解这件事
AI 综述
2026年10月3日,arXiv cs.LG 分类发布研究报道,研究者提出 Local Support Learning(LSL),一种无需访问旧数据即可在梯度训练中保留模型原有能力的通用框架。该方法通过权重适配器与基于高斯混合模型(GMM)的门控函数配对,使更新仅作用于当前训练分布的输入激活。报道称,LSL 可在最多 70 亿参数的 LLM 上缓解灾难性遗忘,跨多个训练阶段同时保留预训练与微调能力,且内存与计算高效、对超参数选择稳健,并展现出扩展潜力。目前该工作处于论文发布阶段,尚无后续实验复现或应用进展的报道。
AI 根据报道生成 · 2 小时前更新
最新进展10月3日 12:00
研究者提出 LSL 框架,无需旧数据即可缓解 LLM 灾难性遗忘。报道时间线
沿着报道,了解事件的不同侧面。
10月3日
- arXiv:cs.LG(机器学习,全量分类)Local Support Learning:无需旧数据即可缓解 LLM 灾难性遗忘
研究者提出 Local Support Learning(LSL),一种无需访问旧数据即可在梯度训练中保留模型原有能力的通用框架,通过权重适配器与基于高斯混合模型(GMM)的门控函数配对,使更新仅作用于当前训练分布的输入激活。该方法可在最多 70 亿参数的 LLM 上缓解灾难性遗忘,跨多个训练阶段同时保留预训练与微调能力,且内存与计算高效、对超参数选择稳健,并展现出扩展潜力。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。