跳到正文
热点事件持续更新

ConMoE:MoE 压缩拆为专家选择与功能分配

1 篇报道1 个报道来源19 小时前更新

先了解这件事

AI 综述

研究者 Yilun Yao 等人提出 ConMoE,把 MoE 专家压缩拆成两步:先用 Anchor Coverage 构建紧凑专家池,再按路由条件的功能目标把原专家工作量分配到池内,参数接近度仅作代理指标。作者称,专家保留率为 50% 和 75% 时,功能分配使宏平均准确率分别提升 1.82 和 0.35 个百分点,且池固定后仍优于其他选择器构建的池。 该方法的核心论点是池固定后分配仍可优化,因此压缩效果不只取决于选出哪些专家,也取决于如何重新分配功能。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月15日
  1. arXiv:cs.AI
    ConMoE:将 MoE 压缩视为专家选择与功能分配

    研究者提出 ConMoE,把 MoE 专家压缩拆分为构建专家池与将原专家工作量分配至该池两步,并证明池固定后分配仍可优化。在 50% 和 75% 专家保留率下,功能分配使宏平均准确率分别提升 1.82 和 0.35 个百分点,池固定后仍优于其他选择器构建的池。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。