分布式MoE最优传输聚合方法提出

研究者 Faïcel Chamroukhi 与 Nhat Thien Pham 发表论文，提出用最小化期望传输散度的方法，将各机器上独立训练的局部 Mixture-of-Experts 模型合并为 K 专家的全局 MoE。该方法将专家与门控网络分离求解：专家由 majorization-minimization 算法计算，门控网络拟合最优传输方案隐含的门控，整个流程只需单次单向通信。 论文报告称，聚合估计精度接近集中式估计，计算时间仅为后者一小部分，且聚合估计量在局部估计量一致时保持一致，不要求各机器标注对齐。这些结论来自作者自报的实验，代码已公开。该结果适用条件是仅需单轮单向通信，超出此条件的场景是否成立尚不明确。

AI 根据报道生成 · 41 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。