dex@dexhorthyAI 评分2323恭喜 @anderslie @tomgreenwald 今天登上 HN 榜首——他们灵活/可调的推理内核技术太酷了，我很喜欢这个想法：可以在任何地方运行本地模型，而无需考虑针对硬件做优化。
#端侧
#端侧
今日 1 条- dex@dexhorthyAI 评分2323
Tomer Tunguz 博客（VC 分析）AI 评分4949 AI 的迷你钢厂：本地分类器分流让 Mac 承担 78% 的 AI 工作
把后台 AI 工作先交给设备端小型分类器判断难易，只将最难任务上送云端，单台 Mac 的吞吐量提升约 25%，队列等待从 73 秒降至 4 秒。过去七天该 Mac 承担了 78% 的 AI 工作、日峰值达 88%，平均任务时长从 47 秒降到 19 秒。作者将其类比 Nucor 的迷你钢厂，认为配备蒸馏模型的笔记本、手机与边缘设备将成为企业内的“迷你钢厂”，只按云端价格支付最难的那五分之一。
Tomer Tunguz 博客（VC 分析）精选AI 评分7070 Tom Tunguz 实测 Qwen3.8-27B 本地模型， birds fly like bumblebees 而非飞机
Tom Tunguz 用 25 个 VC 任务对比 DeepSeek V4 云端模型与两个本地模型，judge 模型盲评显示三者质量接近（8.0 左右），但路径不同。
推荐理由：作者以 25 个真实 VC 任务实测云端与本地模型，用质量、token 用量和延迟数据解释小模型靠更多推理弥补知识差距。
Tomer Tunguz 博客（VC 分析）精选AI 评分6464 Tom Tunguz：intelligence-per-watt 将推动数据中心走向个人化
Tom Tunguz 引用 Stanford 与 Together AI 的研究，提出 intelligence-per-watt 将像当年的 performance-per-watt 一样推动 AI 从云端走向端侧。
推荐理由：原文引用研究数据解释 intelligence-per-watt 趋势如何推动 AI 向端侧迁移，并给出本地加路由方案相对全云的能效与成本收益。
Google AI：DEV 作者专属（RSS）AI 评分3131 为什么 Mac 上最好的 AI 写作助手不该是另一个浏览器标签页
开发者正在打造原生 Mac 应用 DraftKey，主打在现有 macOS 文本框内做端侧 AI 自动补全与指令式改写，而非跳转到浏览器标签页或聊天窗口。该应用要求 macOS 14+、Apple Silicon 和 8GB 内存，本地模型下载约 1.12GB。作者认为日常写作的高摩擦在于切换上下文，本地优先更适合快速补全和改写，但也承认部分文本框受 macOS 平台限制。
Ethan Mollick@emollickAI 评分2929在云端 Claw 类助手（为强大模型提供虚拟计算机）日益成为个人 AI 前进方向的世界里，这似乎确实表明 Apple 为 Siri 所做的选择（端侧、能力有限）可能是错误的方向。
OpenBMB@OpenBMBAI 评分4040太棒了！用 Pi Zero 跑完整感知栈，实时喂给 MiniCPM-o4.5，这是个非常酷的用例。很喜欢看到与个人机器人的实时交互！
引用Mr Goodman@mrgoodmantweetsI gave eyes and ears to my robot. I hooked up a Raspberry Pi Zero W2 (webcam + ambient mic), streaming real-time audio/video back and forth to MiniCPM-o 4.5 @OpenBMB open source model running locally on my PC. Zero cloud APIs, full duplex interaction. Project on my git