ConMoE:MoE 压缩拆为专家选择与功能分配
热点事件持续更新
ConMoE:MoE 压缩拆为专家选择与功能分配
1 篇报道1 个报道来源19 小时前更新
先了解这件事
AI 综述
研究者 Yilun Yao 等人提出 ConMoE,把 MoE 专家压缩拆成两步:先用 Anchor Coverage 构建紧凑专家池,再按路由条件的功能目标把原专家工作量分配到池内,参数接近度仅作代理指标。作者称,专家保留率为 50% 和 75% 时,功能分配使宏平均准确率分别提升 1.82 和 0.35 个百分点,且池固定后仍优于其他选择器构建的池。 该方法的核心论点是池固定后分配仍可优化,因此压缩效果不只取决于选出哪些专家,也取决于如何重新分配功能。
AI 根据报道生成 · 1 小时前更新
最新进展10月15日 12:00
ConMoE:将 MoE 压缩视为专家选择与功能分配报道时间线
沿着报道,了解事件的不同侧面。
10月15日
- arXiv:cs.AIConMoE:将 MoE 压缩视为专家选择与功能分配
研究者提出 ConMoE,把 MoE 专家压缩拆分为构建专家池与将原专家工作量分配至该池两步,并证明池固定后分配仍可优化。在 50% 和 75% 专家保留率下,功能分配使宏平均准确率分别提升 1.82 和 0.35 个百分点,池固定后仍优于其他选择器构建的池。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。