马东锡NLP发文讲LoRA与QLoRA降低微调显存
热点事件持续更新
马东锡NLP发文讲LoRA与QLoRA降低微调显存
2 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
马东锡 NLP 发文介绍用 LoRA 与 QLoRA 降低大模型微调的显存开销：QLoRA 冻结权重以 4 位 NF4 存储、LoRA 分支以 16 位训练。 按文中数字，7B 模型显存从全参数微调约 100 GB 降到 LoRA 约 15 GB、QLoRA 约 5 GB；文章称 2023 年 QLoRA 论文曾在单块 48GB GPU 上微调 65B 模型，并达到 16 位微调的表现。 同一作者随后发布该后训练系列第三篇，用矩阵中的“pattern 模式”概念串联 rank 秩、低秩近似和量化三个基本概念。
AI 根据报道生成 · 1 小时前更新
最新进展10月24日 17:01
马东锡NLP后训练系列第三篇：LoRA与QLoRA基础概念事件进展
2 个进展
- 10月24日 17:01 · 1 篇报道发布LoRA与QLoRA后训练系列文章第三篇马东锡 NLP：马东锡NLP后训练系列第三篇：LoRA与QLoRA基础概念
- 10月24日 16:54 · 1 篇报道LoRA 与 QLoRA：用一块 GPU 微调大模型马东锡 NLP：LoRA 与 QLoRA：用一块 GPU 微调大模型
报道时间线
沿着报道，了解事件的不同侧面。
10月24日
- 马东锡 NLP马东锡NLP后训练系列第三篇：LoRA与QLoRA基础概念
马东锡NLP发布后训练文章系列第三篇，主题为LoRA和QLoRA。文中提出用矩阵中的“pattern模式”这一概念串联三个基本概念：rank秩、low-rank approximation低秩近似和quantization量化。
- 马东锡 NLPLoRA 与 QLoRA：用一块 GPU 微调大模型
这篇长文讲解如何用 LoRA 与 QLoRA 降低大模型微调的显存开销。QLoRA 冻结权重以 4 位 NF4 存储、LoRA 分支以 16 位训练，7B 模型显存从全参数微调约 100 GB 降到 LoRA 约 15 GB、QLoRA 约 5 GB；2023 年 QLoRA 论文曾在单块 48GB GPU 上微调 65B 模型并保持 16 位微调表现。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。