跳到正文

#端侧

今日 17 条
9月30日周三
  1. Liquid AI 模型与工程博客(网页)66

    Liquid AI 发布 LFM2.5-8B-A1B 端侧 MoE 模型,128K 上下文主打工具调用

    Liquid AI 发布 LFM2.5-8B-A1B 端侧 MoE 模型,上下文窗口从 32,768 扩展到 128K tokens,预训练从 12T 增至 38T tokens,词表翻倍到 128,000 以提升非拉丁文字的编码效率。

    推荐理由:官方详细给出上下文、训练管线和实测基准,读者可以据此评估这款端侧 MoE 模型是否适合本地 Agent 工作流。

  2. Liquid AI 模型与工程博客(网页)72

    Liquid AI 发布端侧智能体模型 LFM2.5-2.6B

    Liquid AI 发布 LFM2.5-2.6B,一个可完全在设备端运行的 2.6B 参数智能体模型,Base 与后训练版本已在 Hugging Face 开放。

    推荐理由:原文给出完整的四阶段后训练流程、多基准对比和 CPU 与手机端实测速度,读者可据此评估它对端侧 Agent 部署的适配度。

  3. Tomer Tunguz 博客(VC 分析)49

    AI 的迷你钢厂:本地分类器分流让 Mac 承担 78% 的 AI 工作

    把后台 AI 工作先交给设备端小型分类器判断难易,只将最难任务上送云端,单台 Mac 的吞吐量提升约 25%,队列等待从 73 秒降至 4 秒。过去七天该 Mac 承担了 78% 的 AI 工作、日峰值达 88%,平均任务时长从 47 秒降到 19 秒。作者将其类比 Nucor 的迷你钢厂,认为配备蒸馏模型的笔记本、手机与边缘设备将成为企业内的“迷你钢厂”,只按云端价格支付最难的那五分之一。

  4. Tomer Tunguz 博客(VC 分析)70

    Tom Tunguz 实测 Qwen3.8-27B 本地模型, birds fly like bumblebees 而非飞机

    Tom Tunguz 用 25 个 VC 任务对比 DeepSeek V4 云端模型与两个本地模型,judge 模型盲评显示三者质量接近(8.0 左右),但路径不同。

    推荐理由:作者以 25 个真实 VC 任务实测云端与本地模型,用质量、token 用量和延迟数据解释小模型靠更多推理弥补知识差距。

  5. Google Developers Blog(RSS)66

    Google 发布在 Raspberry Pi 5 上用 LiteRT 部署 Gemma 的端侧 AI 指南

    Google 介绍如何在 Raspberry Pi 5 上用 LiteRT 和 Gemma 模型实现完全离线的实时端侧 AI,并以 Reachy Mini 机器人演示目标检测、语音识别、推理和语音合成的完整本地流水线。

    推荐理由:原文给出 Gemma 各型号在 Raspberry Pi 5 上的实测数据和完整部署流程,读者可以据此选择合适的端侧模型并复现本地推理。

  6. Google AI:DEV 作者专属(RSS)31

    为什么 Mac 上最好的 AI 写作助手不该是另一个浏览器标签页

    开发者正在打造原生 Mac 应用 DraftKey,主打在现有 macOS 文本框内做端侧 AI 自动补全与指令式改写,而非跳转到浏览器标签页或聊天窗口。该应用要求 macOS 14+、Apple Silicon 和 8GB 内存,本地模型下载约 1.12GB。作者认为日常写作的高摩擦在于切换上下文,本地优先更适合快速补全和改写,但也承认部分文本框受 macOS 平台限制。

  7. IT之家(RSS)60

    湖北星辰技术国内首条3D先进封装量产线在武汉光谷通线

    9 月 30 日,湖北星辰技术先进封装中试平台二期项目在武汉光谷正式通线,为国内首条 3D 先进封装量产线。一期、二期合计投资超 70 亿元,二期历时 11 个月建成,可同步承载 40 至 50 款芯片的中试与风险量产,以及 30 至 40 套国产半导体设备与材料的性能验证,并补齐 2.5D 中试能力,面向高性能 AI 算力、智能终端、感存算一体及光电集成等芯片提供封装量产服务。

  8. Meta AI:Blog(网页)32

    Meta AI 模型 DINOv3 与 SAM 如何助力匹兹堡大学改造辅助机器人

    Meta 的 DINOv3 与 SAM 正被匹兹堡大学 RAMMP 项目用于辅助机器人,在电池供电的边缘设备上实现实时环境感知。RAMMP 的感知系统基于 RF-DETR,并用 DINOv2 嵌入微调、由 SAM 自动标注训练数据,实现 360 度环境感知与自适应物体检测。团队已把基于 DINO 的图像传感器查询功能集成进首个原型,可检测自动门按钮、杯子和路缘,目前正转向语音与触控输入。