Clean 二阶 LLM 训练优化器论文发布
热点事件持续更新
Clean 二阶 LLM 训练优化器论文发布
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
Beheshteh T. Rakhshan 等作者发布 Clean 二阶优化器论文（arXiv:2610.04204），称其用随机 Nyström 方法近似 SOAP 左右预条件子，把优化器内存复杂度从模型维度的二次降为线性。 作者给出的测试结果包括：在预训练 LLaMA-1.3B 时，Q-Clean 的优化器内存占用较 Muon 减少超过 50%，预测性能保持竞争力；其优化器状态占用小于标准 AdamW，并在墙上时钟时间上比 AdamW 快 26% 达到后者的最终性能；该方法还使 13B 参数模型可在单张 80GB GPU 上预训练。这些均为论文中的自述效果。
AI 根据报道生成 · 2 小时前更新
最新进展10月8日 12:00
Clean：用 Nyström sketching 以线性内存实现二阶 LLM 训练报道时间线
沿着报道，了解事件的不同侧面。
10月8日
- arXiv：cs.CLClean：用 Nyström sketching 以线性内存实现二阶 LLM 训练
研究者提出 Clean，一种利用随机 Nyström 方法近似 SOAP 左右预条件子的全曲率优化器，将优化器内存复杂度从模型维度的二次降为线性。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。