Prism ML 以 1.5 比特量化把 Qwen 27B 压到 6GB
热点事件持续更新
Prism ML 以 1.5 比特量化把 Qwen 27B 压到 6GB
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Prism ML 的一个团队将阿里巴巴 Qwen 27B 的数值存储从 16 比特改为 1.5 比特，把模型从通常约 60GB 内存压缩到 6GB，同时保留 95% 的性能。 据 X 用户 Rohan Paul 转述，6GB 的模型可运行在树莓派上，Emad Mostaque 称其“能耗和你的大脑一样”、AI 模型“几乎已经达到了人脑的效率”。这些性能保留比例与能耗说法均来自该转述，未提供独立验证。
AI 根据报道生成 · 2 小时前更新
最新进展10月8日 11:09
Qwen 27B 被压缩至 6GB 跑在树莓派上报道时间线
沿着报道，了解事件的不同侧面。
10月8日
- Rohan PaulQwen 27B 被压缩至 6GB 跑在树莓派上
Emad Mostaque：AI 模型“几乎已经达到了人脑的效率”。 阿里巴巴的 Qwen 27B 通常需要约 60GB 内存，而 Prism ML 的一个团队通过用 1.5 位而非 16 位存储其数值，将其压缩到 6GB，同时保留了 95% 的性能。 在 6GB 下，它能跑在树莓派上，“其能耗和你的大脑一样。” ---- 完整视频在“Tom Bilyeu”YouTube 频道，（链接在评论中）
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。