跳到正文

技术方向

端侧 AI 最新动态

跑在手机、电脑与边缘设备上的 AI:小模型、本地推理与端侧芯片的进展。

42 条精选近 30 天 24 条共收录 699 条

更新

精选归档 · 第 3 页

2023年7月27日周四第 41–42 条
  1. Hugging Face:Blog63

    Apple 与 Hugging Face 发布 Stable Diffusion XL 的 Core ML 版本及混合位宽压缩方法

    Apple 与 Hugging Face 将 Stable Diffusion XL 移植到 Core ML,并发布混合位宽调色板压缩方法,UNet 从 4.8 GB 压缩到 1.4 GB(71% 缩减),平均等效 4.5 bits 每参数。

    推荐理由:Apple 与 Hugging Face 联合给出混合位宽调色板压缩方法,UNet 从 4.8 GB 降到 1.4 GB,方法可迁移到其他模型。

2023年6月15日周四
  1. Hugging Face:Blog68

    Hugging Face 讲解如何用 Core ML 在 iPhone、iPad 和 Mac 上更快运行 Stable Diffusion

    Hugging Face 介绍 WWDC'23 后 Core ML 的新压缩优化,用 6-bit palettization 将 Stable Diffusion 权重从 16-bit 压到 6-bit,作者在 iPhone 13 上实测生成时间从 23.0s 降到 15.6s。

    推荐理由:原文给出 6-bit palettization 的原理、转换命令和实测速度对比,读者可照此在苹果设备上压缩并运行 Stable Diffusion。