研究：COMET 评测存在文字系统偏差

G. L. John Salvin 等作者发表论文称，机器翻译评测指标 COMET 的分数依赖目标语言所用文字系统，根因指向 tokeniser。他们在 IndicMT Eval 上把目标文本改写为拉丁字母后发现，文字系统身份可解释原生文字下 COMET 方差的 22.9%，所研究的五种语言与标注者一致性全部下降。 为此作者提出归一化方法 COMET-QN 以修正该偏差，并建议同时公布归一化分数、三项诊断结果以及所用 tokeniser 的身份，让读者能判断分数中多少反映翻译质量、多少反映文字系统。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。