SLEM免校准专家合并框架发布

研究者 Dohyeon Kim 等作者提交论文，提出 Spectrum-Aware Latent Expert Merging（SLEM）专家合并框架，用于压缩混合专家（MoE）模型，其特点是无需校准数据。合并过程在 VAE 构建的专家权重结构化潜在表示中完成：SLEM 依据潜在相似度对层内与跨层专家分组，从专家权重频谱推导合并系数，再进行几何感知的潜在插值并解码回专家权重。 作者称，在通用知识基准上，SLEM 的性能与现有专家合并方法相当或更优；在数学推理与代码生成等生成类基准上，其平均表现更高。这些比较结果是论文中报告的数据，尚未经过独立验证。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。