研究者提出多语言质量分类器适配方法
热点事件持续更新
研究者提出多语言质量分类器适配方法
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
研究者提出一种多语言适配方法，把现有英语质量分类器扩展至 100 多种语言，用于大语言模型预训练数据筛选。该方法在 Transformer encoder-only 模型嵌入之上训练一个小型多层感知机，标签来自机器翻译文本经英语分类器打出的分数。 在 1B、3B 和 8B 规模实验中，该方法的模型下游基准表现与现有多语言基于模型的筛选基线持平，且未损害区域与文化知识基准。相关结果由 Vinko Sabolčec 等作者报告。
AI 根据报道生成 · 2 小时前更新
最新进展10月9日 12:00
将英语质量分类器适配到多语言 LLM 预训练数据筛选报道时间线
沿着报道，了解事件的不同侧面。
10月9日
- arXiv：cs.CL将英语质量分类器适配到多语言 LLM 预训练数据筛选
研究者提出一种多语言适配方法，将现有英语质量分类器扩展至 100 多种语言，用于 LLM 预训练数据筛选。该方法在 Transformer encoder-only 模型嵌入之上训练小型多层感知机，以机器翻译文本经英语分类器打分为标签。1B、3B 和 8B 规模实验显示，其下游 LLM benchmark 表现与现有多语言基于模型的筛选基线持平，且未损害区域与文化知识 benchmark。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。