跳到正文
OpenBMB· @OpenBMB · X·· 1 小时前精选AI 评分67
AI 导读

OpenBMB 发布开源多模态模型系列 MiniCPM-V 4.7,包含 35B-A3B 和 1B 两个型号,主打端侧高效部署。

推荐理由

官方发布给出 LES 技术的端侧加速数字和内存占用,读者可以据此评估端侧多模态部署的可行性。

正文 · AI 翻译

🚀 MiniCPM-V 4.7,我们全新的开源 MLLM 系列!
推进性能–效率帕累托前沿。
它以极致效率为 iOS 和 Android 设备带来强大的多模态能力。
两个新模型:
🔹 MiniCPM-V 4.7 35B-A3B — 通过新引入的 LES(Lookahead Expert Scheduling)技术,将 SOTA 带到本地,成为端侧多模态的新里程碑。
🔹 MiniCPM-V 4.7 1B — 轻量、高效的多模态模型。更易于部署。

⚡ 亮点?
SOTA:在多模态理解、STEM 推理、OCR 和长视频理解等基准测试中取得有竞争力的结果。
端侧快速推理:LES 预测并预加载专家权重以减少停顿,在 iPad Pro M4(16GB)上实现 5× 加速,且输出逐字节完全一致。它使 MiniCPM-V 4.7 35B-A3B 在 iPad Pro M4(16GB)上达到 17+ tokens/s,在 iPhone 17 Pro Max 上达到 13+ tokens/s,同时仅占用 3GB 内存 🤗
高效视觉处理:4× 和 16× 混合视觉 token 压缩。即使在 16× 压缩下,35B-A3B 在 OCRBench 上仍得分 90.4,领先 Qwen3.6 35B-A3B 5.2 分。
更易定制:我们引入 Self-Replay Fine-Tuning,一种以低成本定制新目标能力同时保持通用性能的简单方法。
广泛硬件支持:对 Apple、Intel、AMD、Arm 和 Rockchip 进行 Day-0 适配,并通过 FlagOS 支持更多平台!

下载、部署,并构建我们尚未想象到的东西。👀👇
🔗 GitHub:http://github.com/OpenBMB/MiniCPM-V
🤗 Hugging Face:http://huggingface.co/collections/openbmb/minicpm-v-47

来源:OpenBMB · x.com