Rohan Paul· @rohanpaul_ai · X·· 9 小时前同新闻AI 评分80
AI 导读
Meta 在 Hugging Face 开源 Muse Spark Open 权重,816B 参数模型,面向编码和智能体工作,与 Muse Spark 1.3 共享同一基座,并增加安全后训练以抵抗无系统护栏下的滥用,逆转了 Meta 4 月的闭源前沿模型策略。
同一新闻,精选展示《Meta 发布开源权重多模态 MoE 模型 Muse Spark Open:816B 参数、1M 上下文》
正文 · AI 翻译
Meta 在 Huggingface 上发布了 Muse Spark Open 的权重,这是一个为编程和智能体工作构建的 816B 参数模型。
开源版本与 Muse Spark 1.3 共享同一基础模型,并额外进行了安全后训练,以抵御其作为没有系统护栏的独立模型被滥用,这逆转了 Meta 在 4 月推出的首个专有、闭源权重的前沿模型策略。
其 62 层中的每一层都包含 256 个专家网络,并将每个 token 路由至其中 8 个,因此部署需要 816B 参数模型的显存,但运行速度却相当于 42B 模型。
这一存储成本解释了与 Apple 的合作,因为 M5 Ultra 提供 1.2 TB/s 的统一内存带宽,而一台 Mac Studio 最高可配备 512GB。
在 512GB M3 Ultra 上测试的 3-bit 量化版本占用约 344 GB,在短提示下生成速度约为 21 tok/s。
Muse Spark Open —— 权重今天发布 —— 得益于与 @johnternus 和 Apple 的合作,在新款 Mac Studios 上运行效果极佳。
原文
Muse Spark Open -- weights releasing today -- runs great on new Mac Studios thanks to work with @johnternus and Apple.
来源:Rohan Paul · x.com