SLBF：面向MoE大模型的无数据压缩方法

Tianxiao Cao等作者提交论文，提出名为 Shared Low-rank Basis Factorization（SLBF）的方法，用于对混合专家（MoE）大语言模型做无需数据的权重重构压缩。该方法的做法是让各专家共享 rank-k 基，从而实现更丰富的跨专家共享、更快收敛和更低的重构误差。 作者还提出用事后 gauge fixing 无损去除冗余参数。论文未给出实际压缩率、评测结果或与现有方法的对比数据。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。