MASKerade：冻结FFN掩码专家升级稠密模型

Mingyuan Zhang 等作者发布论文提出 MASKerade，一种稠密到 MoE 的升级训练方法：专家不再是新初始化的模块，而是冻结预训练 FFN 的稀疏子网络，每个专家由学习到的二值掩码定义，底层 FFN 权重在训练中保持不变。token 级路由器负责选择并组合要执行的掩码 FFN，路由器与掩码分数联合优化。 主配置采用四个 2:4 专家与 top-2 路由。据论文，该配置在 Qwen 和 Gemma 骨干的五个视觉语言基准上取得对比基线中最高性能。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。