研究者提出DRMoET提升MoE路由鲁棒性

研究者Xin Teng、Muxiao Li、Hongyi Wen提出分布鲁棒MoE训练方法DRMoET，一种即插即用的训练目标，用于提升稀疏专家模型（MoE）的路由可靠性。 据论文描述，该方法把逐层专家视为内生鲁棒性分组，按EMA平滑、激活加权的专家损失，以熵正则化softmax规则更新每层专家分布，目标是优化高损失的 routing 结果，而不仅仅是均衡流量，并加强潜在非top路由路径。 上述效果目前来自作者在论文中的表述，尚未见独立验证。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。