新方法用专家选择偏置缓解MoE数据不平衡

研究者 Ayush K. Tarun、Clara Meister 与 Antoine Bosselut 发表论文，提出按类别条件设置专家选择偏置：将不同类别的 token 优先路由到专属专家池，在数据不均衡时把更多专家容量分给少数类别，同时保留有需要时的跨类别共享。 在最大 10.6B 参数的模型上，该方法在多种模态、低资源语言和代码上均观察到性能提升。作者称，最小与最大模型规模的增益分别相当于增加 18.5% 和 2.7% 的基线训练 token。 该干预保持标准 MoE 推理，被作者描述为类别级专家分配的轻量控制手段；上述效果为论文报告的结果。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。