arXiv 稠密 MoE 粒度扫描：K=2 最优
热点事件持续更新
arXiv 稠密 MoE 粒度扫描：K=2 最优
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
arXiv 上的一项研究用稠密类比隔离 MoE 动态专家组合的贡献：K 个全激活 SwiGLU 专家经 softmax 门控组合，固定 FFN 总宽度，K=1 为基线。作者 Vu Quang Hoang 与 Nghia Hieu Nguyen 报告，验证损失随 K 非单调变化，K=2 比基线改善 0.0048，K=4 和 K=6 分别恶化 0.0053 和 0.0197。 该架构等价于带 token 相关、单纯形约束组缩放的稠密 SwiGLU。单次运行结果显示，固定宽度下 K=2 表现最佳。
AI 根据报道生成 · 1 小时前更新
最新进展10月5日 12:00
稠密 MoE 作为重参数化宽 FFN：固定算力下的粒度扫描报道时间线
沿着报道，了解事件的不同侧面。
10月5日
- arXiv：cs.LG稠密 MoE 作为重参数化宽 FFN：固定算力下的粒度扫描
研究用稠密类比隔离 MoE 动态专家组合的贡献：K 个全激活 SwiGLU 专家经 softmax 门控组合，固定 FFN 总宽度，K=1 为基线。验证损失随 K 非单调变化，K=2 比基线改善 0.0048，K=4 和 K=6 分别恶化 0.0053 和 0.0197。该架构等价于带 token 相关、单纯形约束组缩放的稠密 SwiGLU，单次运行结果显示固定宽度下 K=2 表现最佳。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。