StructZO：零阶优化框架用于LLM微调

Xuanlin Yang、Jia Li、Zhouchen Lin 提交论文，提出 StructZO——一种面向内存高效 LLM 微调的结构化零阶优化框架。 按其描述，StructZO 在激活诱导的信息子空间内进行大规模查询的零阶估计，并对降维后的更新施加谱控制，再映射回原参数空间。 目前公开信息仅有该框架的提出，尚无实验数据或与其他方法的对比结果。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。