构建边缘 AI 的新方式:在 NVIDIA Jetson 上进行智能体开发 https://x.com/i/broadcasts/1yJAPwpzakzGb
#端侧
#端侧
今日 1 条
NVIDIA AI@NVIDIAAIAI 评分2222
Microsoft AI:官方博客(网页)AI 评分2525 Microsoft Surface 新品发布:Surface Laptop Ultra 与 Copilot+ PC 功能
Microsoft 发布 Surface 系列新品,包括面向创作者的性能笔记本 Surface Laptop Ultra,该产品目前为预发布状态,功能可能变动。Surface Laptop 13 英寸本地视频播放续航最高 22.5 小时,Surface Pro 12/13 英寸均为 15.5 小时。Copilot+ PC 功能仅在 16GB 及以上内存的部分配置上提供。
Microsoft AI:官方博客(网页)AI 评分1313 Windows:Windows Hello 免密登录与本地 AI 功能对比其他操作系统
微软在 Windows 宣传页中主推 Windows Hello,用户可用人脸、指纹或 PIN 免密登录,无需记忆或输入密码。页面以灵活性、兼容性、本地 AI、游戏生态和内置 Microsoft 安全防护五个维度对比 Windows 与其他主流操作系统,并称 Windows 拥有最大的 PC 游戏生态。本地 AI 功能依赖硬件,且随设备而异。
Liquid AI 模型与工程博客(网页)AI 评分3030 Liquid AI 官方 FAQ:LFM 模型不提供自托管 API,开源权重与 LEAP 平台部署说明
Liquid AI 表示目前不提供自托管 API,其 LFM 模型可通过 playground(免费限速)和 OpenRouter(付费更高限额)使用,全部模型可在 Hugging Face 直接下载。多数模型支持通过 LEAP 平台定制与部署,并提供本地推理与定制两套软件栈。年营收不超过 $10M 的组织可获商业使用豁免,超过则需联系销售团队定制定价。
Liquid AI 模型与工程博客(网页)AI 评分1616 Liquid AI 发布 LFM2.5-VL-DSpark:加速边缘端视觉语言模型
Liquid AI 发布 LFM2.5-VL-DSpark,用于在边缘设备及更广场景加速视觉语言模型。该模型属于 LFM2.5 系列,此前同系列已推出 LFM2.5-DSpark,实现从 H100 到 MacBook 最高 3.2 倍推理加速。
Liquid AI 模型与工程博客(网页)AI 评分2222 Liquid AI 谈 Agentic AI:端侧智能体的三大挑战与协同设计路径
Liquid AI 提出端侧 AI 智能体需模型与 harness 协同设计,以在内存、功耗和延迟的硬约束下实现主动式本地推理。其指出云端智能体依赖昂贵的前沿模型,任务越长延迟与 token 成本越叠加,而每次云端回退都会增加成本并把个人上下文送出设备。Liquid 称每个 LFM 都针对设备能力定制,通过本地推理循环持续收集屏幕、车内传感器等上下文,实现无需提示即可自主行动的主动式智能体。
Liquid AI 模型与工程博客(网页)AI 评分1717 Liquid AI 面向国防战术边缘的端侧 AI 方案
Liquid AI 推出面向国防战术边缘的端侧 AI 方案,其多模态模型完全在设备本地运行,支持威胁检测、自主导航和实时 ISR,推理留在本地以保持速度和断网可用性。该方案针对国防场景的 SWaP 约束调优,适配手持设备、头显、地面车辆和小型 UAS 的 NPU 与 CPU,避免将敏感数据发送至云端带来的安全风险与 ITAR 违规。
Liquid AI 模型与工程博客(网页)AI 评分1717 Liquid AI 面向工业与机器人场景推出本地多模态 AI 平台
Liquid AI 推出面向工业与机器人领域的本地 AI 平台,用硬件感知的定制多模态模型在现有设备上离线运行,为一线工人提供实时免手操作辅助。其智能体 LFMs 可打通 IT 与 OT 数据孤岛,跨 SCADA、PLC 和企业系统进行推理,实现实时分析、预测性维护与自主工作流。模型可直接运行在边缘 CPU、NPU、GPU 上,具备亚毫秒级响应。
Liquid AI 模型与工程博客(网页)AI 评分1919 Liquid AI 面向医疗健康行业的私有化 SLM 方案
Liquid AI 推出面向医疗健康与生命科学的 SLM 方案,可在医院内网或 VPC 私有部署,让敏感数据留在本地。该系列模型针对临床与制药场景定制,支持文本、音频和图像的多模态处理,并采用支持 HIPAA、SaMD 变更控制模式与可审计性的架构。
Liquid AI 模型与工程博客(网页)AI 评分2020 Liquid AI 面向金融服务的实时智能模型方案
Liquid AI 面向金融服务推出可在数据中心、边缘或云端运行的模型,驱动反欺诈、客服与风控等智能体工作流,主打低延迟和银行级隐私,成本仅为前沿模型的一小部分。其 SLM 完全托管在客户自有硬件上,数据不出本地,并按业务职能定制多个小模型而非一个通用 LLM。
Liquid AI 模型与工程博客(网页)AI 评分1818 Liquid AI 面向消费电子设备的端侧 AI 方案
Liquid AI 面向消费电子厂商推出端侧 AI 方案,其高效 SLM 可为 PC、智能手机、智能扫地机器人等设备定制适配 NPU、CPU、RAM 和功耗的模型,无需新芯片即可实现智能通知、离线助手和功耗摘要等功能。该方案支持调用厂商自有 API 以打开应用、修改设置并编排设备功能,仅在复杂推理时交由云端 LLM 处理,同时以单一多模态模型覆盖文本、音频和视觉。
Liquid AI 模型与工程博客(网页)AI 评分2121 Liquid AI 面向汽车行业的本地多模态车载 AI 助手方案
Liquid AI 推出面向汽车行业的车载 AI 助手方案,其多模态模型完全运行在量产车已有的 CPU 和 NPU 上,无需云端依赖或新增硬件。方案采用边缘优先的 SLM 与混合智能体架构,单个模型支持 20+ 种语言,速度达现有方案的 5 倍,可实现亚秒级响应与自然语音、座舱视觉交互。
Liquid AI 模型与工程博客(网页)AI 评分1717 Liquid AI 黑客松:用 LFM2.5 等模型挑战端侧 AI
Liquid AI 公布其黑客松系列活动回顾与日程,开发者围绕 Liquid Foundation Models 构建端侧应用。已举办的 6 场活动覆盖东京、旧金山及线上,涉及 LFM2.5、LFM2.5-VL、LFM2-VL 与 LEAP,可在 AMD Ryzen AI PC、AMD NUC 及 iOS、Android 应用上部署。目前日历上暂无新黑客松,可留邮箱等待通知。
Liquid AI 模型与工程博客(网页)AI 评分6060 Liquid AI LFM 模型文档:模型系列、部署格式与量化选型指南
Liquid AI 官方文档介绍其 Liquid Foundation Models (LFM) 多模态模型家族,面向快速推理和端侧部署,统一支持 32K 上下文(LFM2.5-8B-A1B 为 128K)。
Liquid AI 模型与工程博客(网页)AI 评分3030 Liquid AI 发布五套 LFM 本地部署方案演示
Liquid AI 展示五套基于 LFM 的可运行系统,每套将微调后的 Liquid 模型部署在手机、边缘 GPU 或用户自控 VPC 中,支持断网运行。模型覆盖文本、视觉与音频,量化与推理引擎按目标硬件联合选型并在用户实际硬件上做性能剖析。训练在单张 GPU 上数小时完成,并以留出集评分。
Liquid AI 模型与工程博客(网页)AI 评分3636 Liquid AI 在 Hugging Face 上线 LFM2.5 系列 WebGPU 与 CPU 演示 Space
Liquid AI 在 Hugging Face Spaces 上线一批 LFM2.5 演示,包括可在浏览器用 WebGPU 本地运行的 LFM2.5-VL-3B 和端侧 LFM2.5 研究智能体。另有英语拼写检查、多语言 PII 检测、掩码扩散与策略检查等 Space,基于 LFM2.5 或 LFM2.5 Encoder 在 CPU 上运行。
Liquid AI 模型与工程博客(网页)AI 评分6060 Liquid AI 发布 LFM2.5 端侧模型家族
Liquid AI 发布 LFM2.5 模型家族,主打端侧 AI 部署与设备上 Agentic AI,预训练从 10T 扩展到 28T tokens,并通过强化学习扩展后训练流程。
Liquid AI 模型与工程博客(网页)AI 评分6060 Liquid AI 发布首批 Liquid Foundation Models(LFM)系列模型
Liquid AI 发布第一代 Liquid Foundation Models(LFM),包括 1.3B、3.1B 密集模型和 40.3B MoE 模型(推理激活 12B 参数)。
Liquid AI 模型与工程博客(网页)AI 评分5555 Liquid AI 发布 LFM-7B:非 Transformer 架构的高效语言模型
Liquid AI 发布 LFM-7B,一款基于 Liquid Foundation Model 非 Transformer 架构的语言模型,面向聊天场景。官方称其在 7B-8B 级别英文、阿拉伯语和日语对话评测中领先,上下文窗口为 32k(RULER 有效长度 32k),内存占用低于同类 Transformer 模型,适合本地、低延迟和成本受限部署。
Liquid AI 模型与工程博客(网页)AI 评分4646 LFM-1B-Math:小模型能否成为简洁推理者?
Liquid AI 基于 1.3B 的 LFM 模型提出一套后训练方案,通过约 4.5M 样本的 SFT 加短程强化学习,得到 LFM-1.3B-Math,在有限回复预算下实现较强数学推理。SFT 采用 3e-4 学习率、训练 3 个 epoch(约 1000 亿 token),首轮即提升平均性能 36%,后两轮再增 7.6%。该模型无需数学专用预训练,面向边缘设备等资源受限部署。
Liquid AI 模型与工程博客(网页)精选AI 评分6565 Liquid AI 发布端侧基础模型 LFM2,含 0.35B、0.7B 和 1.2B 三个版本
Liquid AI 发布新一代 Liquid Foundation Models(LFM2),定位市场上最快的端侧生成式 AI 基础模型,采用混合架构,包含 10 个双门控短程卷积块和 6 个分组查询注意力块。
推荐理由:官方博客给出了 LFM2 的架构细节、CPU 推理对比和训练方法,读者可以据此评估它在端侧部署中的实际取舍。
Liquid AI 模型与工程博客(网页)AI 评分5353 Liquid AI 发布 LEAP 边缘 AI 平台和 Liquid Apollo 手机应用
Liquid AI 发布面向端侧 AI 的开发者平台 LEAP,并推出轻量级 iOS 应用 Liquid Apollo,让用户在手机上本地测试小语言模型。
Liquid AI 模型与工程博客(网页)AI 评分5858 Liquid AI 与 .txt 合作:用 LFM2-350M 加 dotgrammar 实现端侧可靠函数调用
Liquid AI 与 .txt 合作展示如何在边缘设备上实现可靠的 LLM 函数调用:LFM2-350M 无量化下内存占用低于 1 GB、常见边缘硬件推理时间低于 100ms,配合 .txt 的 dotgrammar 库用上下文无关文法保证输出语法有效且不增加推理延迟。
Liquid AI 模型与工程博客(网页)AI 评分6363 Liquid AI 发布 LFM2-VL 系列视觉语言模型
Liquid AI 发布首批视觉语言基础模型 LFM2-VL,包含 LFM2-VL-450M 和 LFM2-VL-1.6B 两个开源变体,面向手机、笔记本、可穿戴等资源受限设备的低延迟部署。
Liquid AI 模型与工程博客(网页)AI 评分4343 Liquid AI 将 LEAP 扩展至笔记本,原生支持 AMD Ryzen 处理器
Liquid AI 宣布其 Liquid Edge AI Platform(LEAP)原生支持 AMD 最新 Ryzen 和 Ryzen AI 处理器,基于 llama.cpp 推理引擎,可在本地运行 LFM 模型。
Liquid AI 模型与工程博客(网页)AI 评分5252 Liquid AI 发布 LFM2-2.6B,主打高效小模型
Liquid AI 发布 LFM2 系列目前最大的模型 LFM2-2.6B,共 2.6B 参数,训练使用 10 万亿 token,官方称性能超过 Llama 3.2-3B-Instruct、Gemma-3-4b-it 和 SmolLM3-3B 等 3B+ 级模型。
Liquid AI 模型与工程博客(网页)AI 评分5757 Liquid AI 发布 Liquid Nanos 系列端侧专用小模型
Liquid AI 发布 Liquid Nanos 系列 350M–2.6B 参数的端侧基础模型,主打在手机、笔记本和嵌入式设备上本地运行,并已在 LEAP 平台和 Hugging Face 上线。
Liquid AI 模型与工程博客(网页)AI 评分6060 Liquid AI 发布端到端音频基础模型 LFM2-Audio-1.5B
Liquid AI 发布 LFM2-Audio-1.5B,一个支持音频与文本输入输出的端到端基础模型,将 LFM2 家族扩展到音频领域。
Liquid AI 模型与工程博客(网页)精选AI 评分6767 Liquid AI 发布端侧 MoE 模型 LFM2-8B-A1B:8.3B 总参数、1.5B 激活
Liquid AI 发布 LFM2-8B-A1B,这是其首个端侧 MoE 模型,总参数 8.3B、每 token 激活 1.5B,以约 1.5B 级模型的计算量获得更高的模型质量。
推荐理由:官方详细给出 MoE 架构参数、多基准评测和 CPU/GPU 推理数据,读者可据此评估端侧部署的实际表现。
Liquid AI 模型与工程博客(网页)AI 评分5555 Liquid AI 发布 3B 端侧视觉语言模型 LFM2-VL-3B
Liquid AI 发布 30 亿参数视觉语言模型 LFM2-VL-3B,基于 LFM2-2.6B 主干并集成 SigLIP2 400M NaFlex 编码器,现已在 Hugging Face 和 LEAP 平台上线。
Liquid AI 模型与工程博客(网页)AI 评分2727 Liquid AI 如何用 ExecuTorch 实现高效灵活的设备端智能
Liquid AI 在开发 LFM2 系列开放权重模型时选用 PyTorch ExecuTorch 作为推理引擎,看中其混合缓存支持与单条命令打包权重、元数据和执行图的自动化部署流程。
Liquid AI 模型与工程博客(网页)AI 评分6464 Liquid AI 发布 LFM2.5 端侧模型家族
Liquid AI 发布 LFM2.5-1.2B 模型家族,称其为迄今最强的边缘 AI 版本,预训练从 10T 扩展到 28T tokens,并大规模引入强化学习后训练。
Liquid AI 模型与工程博客(网页)AI 评分5656 Liquid AI 发布 LFM2-2.6B-Transcript,主打完全本地化的会议纪要总结
Liquid AI 发布 LFM2-2.6B-Transcript,专为 30–60 分钟长会议转录的本地总结设计,无需云端,已在 LEAP 和 Hugging Face 开放下载。
Liquid AI 模型与工程博客(网页)AI 评分6161 Liquid AI 发布 LFM2.5-1.2B-Thinking,1.2B 参数端侧推理模型内存低于 900MB
Liquid AI 发布可在设备端运行的推理模型 LFM2.5-1.2B-Thinking,手机上内存占用低于 900MB,现已在 Hugging Face、LEAP 和 Playground 提供。
Liquid AI 模型与工程博客(网页)AI 评分6161 Liquid AI 发布 LFM2-24B-A2B 开放权重 MoE 模型
Liquid AI 发布 LFM2-24B-A2B 的早期 checkpoint,总参数 24B、每 token 激活约 2.3B,是迄今最大的 LFM2 模型,开放权重已上线 Hugging Face。
Liquid AI 模型与工程博客(网页)AI 评分5353 Liquid AI 实测 LFM2-24B-A2B 在消费级硬件上本地运行工具调用智能体,并开源 LocalCowork
Liquid AI 发布开源桌面智能体 LocalCowork,展示 LFM2-24B-A2B 完全在本地笔记本上执行工具调用,无云端、无 API 密钥、数据不出设备。
Liquid AI 模型与工程博客(网页)AI 评分5555 Liquid AI 发布 LFM2.5-350M:预训练扩至 28T tokens,主打边缘工具调用
Liquid AI 发布 LFM2.5-350M,基于 LFM2 架构,预训练从 10T 扩至 28T tokens 并加入大规模强化学习,Base 和后训练模型已在 Hugging Face、LEAP 和 Playground 开放。
Liquid AI 模型与工程博客(网页)AI 评分5656 Liquid AI 发布 LFM2.5-VL-450M,新增目标定位与函数调用,面向边缘部署
Liquid AI 发布 LFM2.5-VL-450M,是 LFM2-VL-450M 的升级版,新增边界框定位和文本函数调用支持,预训练从 10T 扩展到 28T tokens。
Liquid AI 模型与工程博客(网页)精选AI 评分6666 Liquid AI 发布 LFM2.5-8B-A1B 端侧 MoE 模型,128K 上下文主打工具调用
Liquid AI 发布 LFM2.5-8B-A1B 端侧 MoE 模型,上下文窗口从 32,768 扩展到 128K tokens,预训练从 12T 增至 38T tokens,词表翻倍到 128,000 以提升非拉丁文字的编码效率。
推荐理由:官方详细给出上下文、训练管线和实测基准,读者可以据此评估这款端侧 MoE 模型是否适合本地 Agent 工作流。
Liquid AI 模型与工程博客(网页)AI 评分5757 Liquid AI 发布 LFM2.5-230M 轻量开源模型,主打端侧部署
Liquid AI 发布其最小的模型 LFM2.5-230M,基于 LFM2 架构,预训练 19T tokens,Base 和 post-trained 版本已在 Hugging Face 开放下载。