多语言MoE缩放律论文提交arXiv
热点事件持续更新
多语言MoE缩放律论文提交arXiv
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Joel Dag等作者在arXiv提交论文，提出一项重复感知的联合缩放定律，将多语言专家混合模型（MoE）的活跃参数量、各语言训练token数、专家数量与语言覆盖范围关联起来，用于描述容量与算力分配如何随语言覆盖变化。 该定律基于64个预训练配置、26,300条单语言损失观测值拟合，作者称对留出配置的预测误差比最强基线降低28%。作者还称，在活跃参数量和各语言训练token数匹配时，32个专家将语言从12种扩展到200种的损失代价较稠密模型降低83%。
AI 根据报道生成 · 1 小时前更新
最新进展10月15日 12:00
多语言 MoE 如何随语言覆盖范围改变容量与算力分配报道时间线
沿着报道，了解事件的不同侧面。
10月15日
- arXiv：cs.LG多语言 MoE 如何随语言覆盖范围改变容量与算力分配
一项研究提出重复感知的联合缩放定律，将活跃参数量、各语言训练 token 数、专家数量与语言覆盖范围关联起来。该定律基于 64 个预训练配置、26,300 条单语言损失观测值拟合，对留出配置的预测误差比最强基线降低 28%。在活跃参数量和各语言训练 token 数匹配时，32 个专家将语言从 12 种扩展到 200 种的损失代价较稠密模型降低 83%。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。