研究者提出LS-LoRA层选择性微调方法
热点事件持续更新
研究者提出LS-LoRA层选择性微调方法
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Zhiqiang Pang等研究者提出Layer-Selective LoRA（LS-LoRA）微调方法：不再给全部Transformer层加可训练的LoRA适配器，而是只放在输入—输出余弦相似度较低、经验Fisher信息较高的层。在数学推理和代码生成任务上，该方法在提升目标任务平均表现的同时，比标准全层LoRA保留更多常识推理能力。 该方法用只需前向计算即可得到的余弦相似度，来替代需要反向计算的Fisher分数排序层敏感度。
AI 根据报道生成 · 2 小时前更新
最新进展10月9日 12:00
在哪里适配很重要：面向能力保留的层选择性微调报道时间线
沿着报道，了解事件的不同侧面。
10月9日
- arXiv：cs.AI在哪里适配很重要：面向能力保留的层选择性微调
研究者提出 LS-LoRA，只把可训练的 LoRA 适配器放在输入—输出余弦相似度较低、经验 Fisher 信息较高的 Transformer 层，而非全部层。在数学推理与代码生成任务上，LS-LoRA 在提升目标任务平均表现的同时，比标准全层 LoRA 保留更多常识推理能力。该方法用前向即可计算的余弦相似度替代需反向计算的 Fisher 分数来排序层敏感度。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。