Apple研究：数据受限下双语混合优于调参

Apple Machine Learning Research 团队在约 1000 次预训练实验中对比发现，当目标语言数据有限时，加入辅助语言数据做双语混合，在验证损失和下游任务准确率上均优于超参数调优，且模型越大差距越明显。实验覆盖 150M 至 1.43B 四个模型规模，以阿拉伯语为目标语言、英语为辅助语言。 研究称，混合带来的收益相当于 2–3 倍目标语言独有数据（按验证损失）和 2–13 倍（按下游准确率）。团队据此建议优先调整数据混合比例，并借助 μP 将小模型上的超参数迁移到大模型。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。