新方法改进稀疏MoE训练路由
热点事件持续更新
新方法改进稀疏MoE训练路由
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
研究者 Yunkai Chai 等人发表论文，提出 Elastic Expert Routing 方法，用于改进稀疏混合专家（MoE）模型的 top-k 路由训练。该方法针对固定 top-k 路由把连续路由分布变成刚性阶跃函数、边界脆弱的问题，从以 k 为中心的局部离散分布中随机采样激活专家预算，把陡峭阈值软化为渐进概率分布。论文发布在 arXiv 计算语言学分类下。
AI 根据报道生成 · 1 小时前更新
最新进展10月9日 12:00
Elastic Expert Routing：平滑稀疏 MoE 的 top-k 专家边界报道时间线
沿着报道，了解事件的不同侧面。
10月9日
- arXiv：cs.CLElastic Expert Routing：平滑稀疏 MoE 的 top-k 专家边界
针对稀疏 MoE 中固定 top-k 路由把连续路由分布变成刚性阶跃函数、边界脆弱的问题，研究者提出 Elastic Expert Routing，从以 k 为中心的局部离散分布中随机采样激活专家预算，把陡峭阈值软化为渐进概率分布。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。