HuggingFace Daily Papers(社区热门论文)·· 3 小时前AI 评分43
循环 MoE 的缩放定律:Loop Scaling Laws 首次联合建模循环与稀疏
Scaling Laws for Looped Mixture of Experts
AI 导读
研究者提出 Loop Scaling Laws,首个同时建模循环(recurrence)与稀疏(MoE)并兼顾模型规模与数据的缩放定律,其核心是有界的、以稀疏度为条件的循环映射,可刻画循环带来的有效参数增益及稀疏度对该增益的提升。
来源:HuggingFace Daily Papers(社区热门论文) · huggingface.co