Liquid AI 谈 Agentic AI:端侧智能体的三大挑战与协同设计路径
Liquid AI 提出端侧 AI 智能体需模型与 harness 协同设计,以在内存、功耗和延迟的硬约束下实现主动式本地推理。其指出云端智能体依赖昂贵的前沿模型,任务越长延迟与 token 成本越叠加,而每次云端回退都会增加成本并把个人上下文送出设备。Liquid 称每个 LFM 都针对设备能力定制,通过本地推理循环持续收集屏幕、车内传感器等上下文,实现无需提示即可自主行动的主动式智能体。
Liquid AI 提出端侧 AI 智能体需模型与 harness 协同设计,以在内存、功耗和延迟的硬约束下实现主动式本地推理。其指出云端智能体依赖昂贵的前沿模型,任务越长延迟与 token 成本越叠加,而每次云端回退都会增加成本并把个人上下文送出设备。Liquid 称每个 LFM 都针对设备能力定制,通过本地推理循环持续收集屏幕、车内传感器等上下文,实现无需提示即可自主行动的主动式智能体。
Liquid AI 推出面向国防战术边缘的端侧 AI 方案,其多模态模型完全在设备本地运行,支持威胁检测、自主导航和实时 ISR,推理留在本地以保持速度和断网可用性。该方案针对国防场景的 SWaP 约束调优,适配手持设备、头显、地面车辆和小型 UAS 的 NPU 与 CPU,避免将敏感数据发送至云端带来的安全风险与 ITAR 违规。
Liquid AI 推出面向工业与机器人领域的本地 AI 平台,用硬件感知的定制多模态模型在现有设备上离线运行,为一线工人提供实时免手操作辅助。其智能体 LFMs 可打通 IT 与 OT 数据孤岛,跨 SCADA、PLC 和企业系统进行推理,实现实时分析、预测性维护与自主工作流。模型可直接运行在边缘 CPU、NPU、GPU 上,具备亚毫秒级响应。
Liquid AI 推出面向医疗健康与生命科学的 SLM 方案,可在医院内网或 VPC 私有部署,让敏感数据留在本地。该系列模型针对临床与制药场景定制,支持文本、音频和图像的多模态处理,并采用支持 HIPAA、SaMD 变更控制模式与可审计性的架构。
Liquid AI 面向金融服务推出可在数据中心、边缘或云端运行的模型,驱动反欺诈、客服与风控等智能体工作流,主打低延迟和银行级隐私,成本仅为前沿模型的一小部分。其 SLM 完全托管在客户自有硬件上,数据不出本地,并按业务职能定制多个小模型而非一个通用 LLM。
Liquid AI 推出面向电商行业的定制多模态 AI 模型,以毫秒级响应支撑语义搜索、站内智能体和商家 Copilot。其意图原生搜索可理解自然语言、图像查询与结构化筛选,并实时调用商家 API 返回商品;站内智能体接入购物车、结账、订阅、订单状态等 API,可引导客户并完成购买流程。商家侧 SLM 基于分析数据、营销活动和商品目录训练,用于总结表现、建议行动并生成商品调整。
Liquid AI 面向消费电子厂商推出端侧 AI 方案,其高效 SLM 可为 PC、智能手机、智能扫地机器人等设备定制适配 NPU、CPU、RAM 和功耗的模型,无需新芯片即可实现智能通知、离线助手和功耗摘要等功能。该方案支持调用厂商自有 API 以打开应用、修改设置并编排设备功能,仅在复杂推理时交由云端 LLM 处理,同时以单一多模态模型覆盖文本、音频和视觉。
Liquid AI 推出面向汽车行业的车载 AI 助手方案,其多模态模型完全运行在量产车已有的 CPU 和 NPU 上,无需云端依赖或新增硬件。方案采用边缘优先的 SLM 与混合智能体架构,单个模型支持 20+ 种语言,速度达现有方案的 5 倍,可实现亚秒级响应与自然语音、座舱视觉交互。
Liquid AI 在 GitHub 上公开了基于 LFM 基础模型和 LEAP SDK 的示例、端到端教程与应用仓库,获 2.5k star。同批仓库还包括语音到语音模型 Liquid Audio、用于减少模型重复循环的偏好数据生成训练工具 Antidoom,以及 LFM 全流程定制仓库和 LeapSDK 的 Kotlin 示例应用。
Liquid AI 上线 Discord 社区服务器,目前显示 507 人在线、4,879 名成员。该服务器提供文字与语音频道,支持自定义反应、嵌入内容和机器人,用户可随时进出频道而无需通话或邀请。
Liquid AI 公布其黑客松系列活动回顾与日程,开发者围绕 Liquid Foundation Models 构建端侧应用。已举办的 6 场活动覆盖东京、旧金山及线上,涉及 LFM2.5、LFM2.5-VL、LFM2-VL 与 LEAP,可在 AMD Ryzen AI PC、AMD NUC 及 iOS、Android 应用上部署。目前日历上暂无新黑客松,可留邮箱等待通知。
Liquid AI 官方文档介绍其 Liquid Foundation Models (LFM) 多模态模型家族,面向快速推理和端侧部署,统一支持 32K 上下文(LFM2.5-8B-A1B 为 128K)。
Liquid AI 展示五套基于 LFM 的可运行系统,每套将微调后的 Liquid 模型部署在手机、边缘 GPU 或用户自控 VPC 中,支持断网运行。模型覆盖文本、视觉与音频,量化与推理引擎按目标硬件联合选型并在用户实际硬件上做性能剖析。训练在单张 GPU 上数小时完成,并以留出集评分。
Liquid AI 在 Hugging Face Spaces 上线一批 LFM2.5 演示,包括可在浏览器用 WebGPU 本地运行的 LFM2.5-VL-3B 和端侧 LFM2.5 研究智能体。另有英语拼写检查、多语言 PII 检测、掩码扩散与策略检查等 Space,基于 LFM2.5 或 LFM2.5 Encoder 在 CPU 上运行。
Liquid AI 发布 LFM2.5 模型家族,主打端侧 AI 部署与设备上 Agentic AI,预训练从 10T 扩展到 28T tokens,并通过强化学习扩展后训练流程。
Liquid AI 发布第一代 Liquid Foundation Models(LFM),包括 1.3B、3.1B 密集模型和 40.3B MoE 模型(推理激活 12B 参数)。
Liquid AI 发布 LFM-7B,一款基于 Liquid Foundation Model 非 Transformer 架构的语言模型,面向聊天场景。官方称其在 7B-8B 级别英文、阿拉伯语和日语对话评测中领先,上下文窗口为 32k(RULER 有效长度 32k),内存占用低于同类 Transformer 模型,适合本地、低延迟和成本受限部署。
Liquid AI 基于 1.3B 的 LFM 模型提出一套后训练方案,通过约 4.5M 样本的 SFT 加短程强化学习,得到 LFM-1.3B-Math,在有限回复预算下实现较强数学推理。SFT 采用 3e-4 学习率、训练 3 个 epoch(约 1000 亿 token),首轮即提升平均性能 36%,后两轮再增 7.6%。该模型无需数学专用预训练,面向边缘设备等资源受限部署。
Liquid AI 发布新一代 Liquid Foundation Models(LFM2),定位市场上最快的端侧生成式 AI 基础模型,采用混合架构,包含 10 个双门控短程卷积块和 6 个分组查询注意力块。
推荐理由:官方博客给出了 LFM2 的架构细节、CPU 推理对比和训练方法,读者可以据此评估它在端侧部署中的实际取舍。
Liquid AI 发布面向端侧 AI 的开发者平台 LEAP,并推出轻量级 iOS 应用 Liquid Apollo,让用户在手机上本地测试小语言模型。
Liquid AI 与 .txt 合作展示如何在边缘设备上实现可靠的 LLM 函数调用:LFM2-350M 无量化下内存占用低于 1 GB、常见边缘硬件推理时间低于 100ms,配合 .txt 的 dotgrammar 库用上下文无关文法保证输出语法有效且不增加推理延迟。
Liquid AI 发布首批视觉语言基础模型 LFM2-VL,包含 LFM2-VL-450M 和 LFM2-VL-1.6B 两个开源变体,面向手机、笔记本、可穿戴等资源受限设备的低延迟部署。
Liquid AI 宣布其 Liquid Edge AI Platform(LEAP)原生支持 AMD 最新 Ryzen 和 Ryzen AI 处理器,基于 llama.cpp 推理引擎,可在本地运行 LFM 模型。
Liquid AI 发布 LFM2 系列目前最大的模型 LFM2-2.6B,共 2.6B 参数,训练使用 10 万亿 token,官方称性能超过 Llama 3.2-3B-Instruct、Gemma-3-4b-it 和 SmolLM3-3B 等 3B+ 级模型。
Liquid AI 发布 Liquid Nanos 系列 350M–2.6B 参数的端侧基础模型,主打在手机、笔记本和嵌入式设备上本地运行,并已在 LEAP 平台和 Hugging Face 上线。
Liquid AI 发布 LFM2-Audio-1.5B,一个支持音频与文本输入输出的端到端基础模型,将 LFM2 家族扩展到音频领域。
Liquid AI 发布 LFM2-8B-A1B,这是其首个端侧 MoE 模型,总参数 8.3B、每 token 激活 1.5B,以约 1.5B 级模型的计算量获得更高的模型质量。
推荐理由:官方详细给出 MoE 架构参数、多基准评测和 CPU/GPU 推理数据,读者可据此评估端侧部署的实际表现。
Liquid AI 发布 30 亿参数视觉语言模型 LFM2-VL-3B,基于 LFM2-2.6B 主干并集成 SigLIP2 400M NaFlex 编码器,现已在 Hugging Face 和 LEAP 平台上线。
Liquid AI 在开发 LFM2 系列开放权重模型时选用 PyTorch ExecuTorch 作为推理引擎,看中其混合缓存支持与单条命令打包权重、元数据和执行图的自动化部署流程。
Liquid AI 发布 LFM2-ColBERT-350M,一个基于 LFM2 骨干的晚交互检索模型,支持用一种语言存储文档、用其他语言查询检索。在扩展的 NanoBEIR 多语言基准上,其跨语言检索能力显著优于 150M 参数的 GTE-ModernColBERT-v1,尤其在德语、阿拉伯语、韩语和日语上;尽管模型体积更大,查询和文档编码吞吐与对方相当。
Liquid AI 发布 LFM2.5-1.2B 模型家族,称其为迄今最强的边缘 AI 版本,预训练从 10T 扩展到 28T tokens,并大规模引入强化学习后训练。
Liquid AI 发布 LFM2-2.6B-Transcript,专为 30–60 分钟长会议转录的本地总结设计,无需云端,已在 LEAP 和 Hugging Face 开放下载。
Liquid AI 发布可在设备端运行的推理模型 LFM2.5-1.2B-Thinking,手机上内存占用低于 900MB,现已在 Hugging Face、LEAP 和 Playground 提供。
Liquid AI 发布 LFM2-24B-A2B 的早期 checkpoint,总参数 24B、每 token 激活约 2.3B,是迄今最大的 LFM2 模型,开放权重已上线 Hugging Face。
Liquid AI 发布开源桌面智能体 LocalCowork,展示 LFM2-24B-A2B 完全在本地笔记本上执行工具调用,无云端、无 API 密钥、数据不出设备。
Liquid AI 发布 LFM2.5-350M,基于 LFM2 架构,预训练从 10T 扩至 28T tokens 并加入大规模强化学习,Base 和后训练模型已在 Hugging Face、LEAP 和 Playground 开放。
Liquid AI 发布 LFM2.5-VL-450M,是 LFM2-VL-450M 的升级版,新增边界框定位和文本函数调用支持,预训练从 10T 扩展到 28T tokens。
Liquid AI 发布 LFM2.5-8B-A1B 端侧 MoE 模型,上下文窗口从 32,768 扩展到 128K tokens,预训练从 12T 增至 38T tokens,词表翻倍到 128,000 以提升非拉丁文字的编码效率。
推荐理由:官方详细给出上下文、训练管线和实测基准,读者可以据此评估这款端侧 MoE 模型是否适合本地 Agent 工作流。
Liquid AI 发布两款 350M 参数多语言检索模型 LFM2.5-ColBERT-350M 和 LFM2.5-Embedding-350M,是 LFM 家族首批双向模型,支持 11 种语言的跨语言搜索。
Liquid AI 发布其最小的模型 LFM2.5-230M,基于 LFM2 架构,预训练 19T tokens,Base 和 post-trained 版本已在 Hugging Face 开放下载。