跳到正文
原文
arXiv:cs.CL(计算语言学,全量分类)· Muhammad Abdullahi Said, Abass Oguntade, Elisha Komolafe, Babangida Sani, Fatima Muhammad Adam, Muhammad Sammani Sani·· 1 天前AI 评分29

不同分词生育率语言间的概念方向可靠性研究

Concept Direction Reliability Across Languages with Different Tokenizer Fertility

AI 导读

研究测量了英语、豪萨语和约鲁巴语在四个语言模型中的情感方向可复现性,使用最终 token 时 split-half 一致度分别为 0.737-0.870、0.589-0.762 和 0.101-0.399,该语言排序在全部 77 组完整模型对比中保持一致。基于相同层训练的分类器预测情感始终高于随机水平,表明预测准确率并不代表方向一致性。研究未证实分词生育率是跨语言差异的成因。

来源:arXiv:cs.CL(计算语言学,全量分类) · arxiv.org