Thinking Machines Lab:官方博客(RSS)·· 2025-09-29AI 评分58
Thinking Machines Lab 发布 LoRA Without Regret 研究:LoRA 在多数后训练场景可匹敌全量微调
LoRA Without Regret
AI 导读
Thinking Machines Lab 发布研究,系统实验表明在满足两个条件时 LoRA 与全量微调(FullFT)样本效率相同、最终性能相当:将 LoRA 应用于所有层尤其是 MLP/MoE 层,且可训练参数量超过数据集信息量。
来源:Thinking Machines Lab:官方博客(RSS) · thinkingmachines.ai