Apple 发布 MLX 多机分布式推理教程
先了解这件事
Apple 机器学习研究团队发布技术教程,介绍用最新版 MLX 和 RDMA over Thunderbolt,在 Mac Studio 上本地及跨多台机器分布式运行近万亿参数模型 Muse Spark Open(816B,MoE)。Apple 称该模型原生 BF16 精度仅参数就需超 1.6TB 内存,改用 4 位 NVFP4 量化后降至约 493GB,但仍需跨多台 Mac Studio 并行;其四台 Mac Studio 集群生成速度超过每秒 36 token,高于人类平均阅读速度。这些数字来自 Apple 自述,尚未经第三方验证。 据 IT之家转引 MacRumors 报道,Meta 发布开源权重模型 Muse Spark Open,总参数量 8160 亿、活跃参数 420 亿、上下文窗口 100 万 token,演示在 2 台配备 512GB 统一内存的 Apple M5 Ultra Mac Studio 上通过最新 MLX 框架运行,并称是 Meta 与 Apple 的合作。该报道还称,512GB 版 Mac Studio 尚未正式发售,预计本月晚些时候推出,256GB 版售价已超 1 万美元。
AI 根据报道生成 · 1 小时前更新
事件进展
2 个进展
- 10月16日 08:24 · 1 篇报道Meta与苹果合作本地运行Muse Spark OpenIT之家:Meta 与苹果合作:两台 512GB 内存 Mac Studio 本地运行开源模型 Muse Spark Open
- 10月15日 08:00 · 1 篇报道Apple 介绍 MLX 多机分布式大模型推理方法Apple Machine Learning Research:Apple 展示用 MLX 与 RDMA 在 Mac Studio 上本地及分布式运行大模型推理
报道时间线
沿着报道,了解事件的不同侧面。
- IT之家Meta 与苹果合作:两台 512GB 内存 Mac Studio 本地运行开源模型 Muse Spark Open
Meta 发布开源权重模型 Muse Spark Open,总参数量 8160 亿、活跃参数 420 亿、上下文窗口 100 万 token,可在两台配备 512GB 统一内存的 Apple M5 Ultra Mac Studio 上通过 MLX 框架本地运行。
- Apple Machine Learning Research精选Apple 展示用 MLX 与 RDMA 在 Mac Studio 上本地及分布式运行大模型推理
Apple ML Research 发布教程,介绍用最新版 MLX 在 Mac Studio 上运行近万亿参数的 Muse Spark Open(816B,MoE,NVFP4 精度)等模型。
本事件热度走势
- 可比范围当前
- 21
- 可比范围峰值
- 2310月16日 09:00
- 近 24 小时变化
- –
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。