LFM-1B-Math:小模型能否成为简洁推理者?
Liquid AI 基于 1.3B 的 LFM 模型提出一套后训练方案,通过约 4.5M 样本的 SFT 加短程强化学习,得到 LFM-1.3B-Math,在有限回复预算下实现较强数学推理。SFT 采用 3e-4 学习率、训练 3 个 epoch(约 1000 亿 token),首轮即提升平均性能 36%,后两轮再增 7.6%。该模型无需数学专用预训练,面向边缘设备等资源受限部署。
Liquid AI 基于 1.3B 的 LFM 模型提出一套后训练方案,通过约 4.5M 样本的 SFT 加短程强化学习,得到 LFM-1.3B-Math,在有限回复预算下实现较强数学推理。SFT 采用 3e-4 学习率、训练 3 个 epoch(约 1000 亿 token),首轮即提升平均性能 36%,后两轮再增 7.6%。该模型无需数学专用预训练,面向边缘设备等资源受限部署。
研究者提出一种神经符号路由器,用 L* 语法推断算法学习确定性有限自动机(DFA),将结构化查询分派给确定性求解器,仅把开放式应用题留给小语言模型(SLM)。
Apple 提出一种潜空间蒸馏方法压缩流式神经音频编码器:不监督离散 token 或输出分布,而是让学生编码器回归教师模型每帧的量化前潜表示,并用单层仿射层吸收师生宽度差异。在 2.8× 压缩下,六组师生配对中有五组无需微调即保持在教师 1.9% 相对 WER 以内,并比同容量独立训练编码器相对提升 3.9%。该方案同时适用于单独预训练和与语言模型联合训练的 tokenizer。
Google 宣布将 Multi-Token Prediction(MTP)改造性地部署到已冻结的 Gemini Nano v3 模型上,并已向 Pixel 9 和 10 系列推送。
MIT 研究人员推出名为 Gleanmer 的系统级芯片,能让小型自主机器人仅用约 6 毫瓦功耗实时构建详细 3D 环境地图,功耗仅相当于一颗 LED。该芯片结合 GMMap 算法与专用硬件,用高斯椭球体替代传统体素表示障碍物与自由空间,单次处理深度图像即可生成高斯分布,无需存储整张图像。该成果已在 IEEE VLSI Symposium 上展示,也有望用于轻量 AR 头显。
Google 提出一种零信任隐私分析方案,将新型单消息密码学聚合协议与 TEE 结合,使设备只需一次性提交数据,无需多轮在线交互。该设计保证 Google 只能获得匿名聚合结果,原始数据即使在硬件保护范围内也不会被解密或重建,TEE 证明机制则验证聚合代码按公开代码正确执行。