Tomer Tunguz 博客(VC 分析)·· 13 小时前AI 评分49
AI 的迷你钢厂:本地分类器分流让 Mac 承担 78% 的 AI 工作
The Minimill of AI
AI 导读
把后台 AI 工作先交给设备端小型分类器判断难易,只将最难任务上送云端,单台 Mac 的吞吐量提升约 25%,队列等待从 73 秒降至 4 秒。过去七天该 Mac 承担了 78% 的 AI 工作、日峰值达 88%,平均任务时长从 47 秒降到 19 秒。作者将其类比 Nucor 的迷你钢厂,认为配备蒸馏模型的笔记本、手机与边缘设备将成为企业内的“迷你钢厂”,只按云端价格支付最难的那五分之一。
来源:Tomer Tunguz 博客(VC 分析) · tomtunguz.com