Liquid AI 模型与工程博客(网页)·· 12 小时前AI 评分46
LFM-1B-Math:小模型能否成为简洁推理者?
LFM-1B-Math: Can Small Models Be Concise Reasoners?
AI 导读
Liquid AI 基于 1.3B 的 LFM 模型提出一套后训练方案,通过约 4.5M 样本的 SFT 加短程强化学习,得到 LFM-1.3B-Math,在有限回复预算下实现较强数学推理。SFT 采用 3e-4 学习率、训练 3 个 epoch(约 1000 亿 token),首轮即提升平均性能 36%,后两轮再增 7.6%。该模型无需数学专用预训练,面向边缘设备等资源受限部署。
来源:Liquid AI 模型与工程博客(网页) · liquid.ai