LatentMoE：低维专家与逐层容量分配

加州大学等机构的研究者提出 LatentMoE，把混合专家（MoE）的专家计算搬进低维空间，使专家的输入维度与中间宽度从固定超参变成可显式选择的设计变量。论文称，专家局部 Jacobian 的秩由这两者共同约束，在单专家参数量固定时让二者均衡可最大化秩上限，实验中接近方形的专家形状表现更好。 该方法还用逐层内在维度（ID）指导深度上的容量分配，在每层参数量、激活 FLOPs 与通信量不变的前提下协同调整各层专家数量与形状。论文报告，相比逐层同构的基线，这一做法取得更低验证损失和更强的下游表现。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。