分词器选择如何影响多语言模型表现

一项新研究显示，分词器选择对多语言语言模型的影响因语言而异：训练数据越少的语言，其性能在不同分词器之间的波动越大。作者 Clara Meister 等人训练了 123 个语言模型，覆盖 54 种分词器，固定架构、训练语料、训练 token 预算与优化设置，仅改变分词器，在 31 种训练语言上得到 BPB 标准差与训练数据量的 Spearman 相关系数为 -0.52。 研究还显示，在分词器训练阶段被排除的语言，在所有被研究的语言上 BPB 均上升。作者在论文摘要中指出，分词器选择会影响多语言语言建模，但词表容量有限且词表大小常受约束，改善某些语言的表示往往以牺牲其他语言为代价。

AI 根据报道生成 · 49 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。