跳到正文
原文
Thinking Machines Lab:官方博客(RSS)·· 2025-09-29AI 评分58

Thinking Machines Lab 发布 LoRA Without Regret 研究:LoRA 在多数后训练场景可匹敌全量微调

LoRA Without Regret

AI 导读

Thinking Machines Lab 发布研究,系统实验表明在满足两个条件时 LoRA 与全量微调(FullFT)样本效率相同、最终性能相当:将 LoRA 应用于所有层尤其是 MLP/MoE 层,且可训练参数量超过数据集信息量。

来源:Thinking Machines Lab:官方博客(RSS) · thinkingmachines.ai