发布LittleCurriculum语料与LittleLearner模型

Fanfei Li等研究者发布LittleCurriculum——一个880亿token、只涵盖美国小学五年级及以下内容的预训练语料，并据此从零训练出50亿参数的LittleLearner模型。研究者称该模型具备足以进行开放式评测的语言能力，其知识与能力边界对应可解释的课程大纲。 研究者将二者作为“发育受限的沙盒”发布，用于研究在明确训练范围内模型如何获取、表征和使用数据；语料明确排除了五年级以上教授的概念、事实和词汇。 研究者称，通过后训练和上下文学习注入新知识，只能让模型更好地利用已有知识，无法提升超出范围的能力。

AI 根据报道生成 · 50 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。