MoE专家剪枝新方法：轻量微调识别可剪专家
热点事件持续更新
MoE专家剪枝新方法：轻量微调识别可剪专家
1 篇报道1 个报道来源5 小时前更新
先了解这件事
AI 综述
Ali Janati 等发表论文，提出一种基于轻量适配器微调的路由敏感度方法，可在 Mixture-of-Experts 模型中一次性剪除变化最小的专家。 在 Mixtral-8×7B-Instruct 上，仅路由 LoRA 只训练 0.002% 参数，剪掉一半专家后仍保留 27.54% 的 MMLU-Pro 准确率，高于幅度剪枝和随机剪枝的约 16%；该信号随适配器增大最高升至 28.76%。
AI 根据报道生成 · 1 小时前更新
最新进展10月15日 12:00
轻量微调下的路由敏感度可识别 MoE 模型中可剪枝的专家报道时间线
沿着报道，了解事件的不同侧面。
10月15日
- arXiv：cs.AI轻量微调下的路由敏感度可识别 MoE 模型中可剪枝的专家
一种基于轻量适配器微调的路由敏感度方法可在 Mixture-of-Experts 模型中一次性剪除变化最小的专家。在 Mixtral-8×7B-Instruct 上，仅路由 LoRA 只训练 0.002% 参数，剪掉一半专家后仍保留 27.54% 的 MMLU-Pro 准确率，高于幅度剪枝和随机剪枝的约 16%，该信号随适配器增大最高升至 28.76%。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。