arXiv：cs.CL（计算语言学，全量分类）· Yusheng Zhou, Eleanor Lin, David Jurgens·· 1 天前AI 评分44
非母语英语如何影响 LLM 终端用户表现：FABLE 数据集与 34 个开源权重模型评测
Lost in Translation: Measuring the Effect of Non-Native English on End User Performance of Large Language Models
AI 导读
研究者构建 FABLE 数据集，包含源自 174K 真实用户提示词的 190,911 条英语提示词变体，并用其评测 34 个开源权重 LLM 的写作任务表现。结果显示模型不会把拼写错误等表层错误带入输出，却会模仿用户提示词中更高层的修辞与词汇特征，最不流利与最流利提示词之间的回答质量差异显著。这表明非母语英语用户不仅得到质量更低的回答，回答本身的流利度也更差。
来源：arXiv：cs.CL（计算语言学，全量分类） · arxiv.org