MoE粒子Transformer路由容量研究
热点事件持续更新
MoE粒子Transformer路由容量研究
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Kaushik Pendiyala等作者提交论文，在188类JetClass-II上对比稠密与MoE粒子Transformer，改变专家数量、路由容量、top-K和辅助损失。研究发现，在避免token dropping时，top-1 MoE在标称前向计算近乎不变的情况下优于稠密基线，继续增加存储专家数量带来的精度提升很小。每token激活多个专家可进一步提升预测性能，但计算成本更高；路由分析显示专家分配与粒子身份和运动学特征的关联并不随分类性能单调增强。代码与实验配置已公开。
AI 根据报道生成 · 1 小时前更新
最新进展10月5日 12:00
MoE Particle Transformer 的条件容量与路由研究报道时间线
沿着报道，了解事件的不同侧面。
10月5日
- arXiv：cs.LGMoE Particle Transformer 的条件容量与路由研究
研究在 188 类 JetClass-II 上对比稠密与 MoE Particle Transformer，发现避免 token dropping 时 top-1 MoE 在近乎不变的标称前向计算下优于稠密基线，继续增加存储专家数量带来的精度提升很小。每 token 激活多个专家可进一步提升预测性能，但计算成本更高；路由分析显示专家分配与粒子身份和运动学特征的关联并不随分类性能单调增强。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。