Meta 新发布的 816B（42B 激活）开放权重模型 Muse Spark Open 的结果现已在 AA-AgentPerf 上线。在我们的初步测试中，该模型在 4x NVIDIA GB300 或 B300 GPU 上，每兆瓦功耗的吞吐量最高可达约 150M tokens/s

Muse Spark Open 在 Artificial Analysis Intelligence Index 上得分为 39。它是一个 MoE，共有 62 层，其中 46 层使用 2,048 token 滑动窗口注意力，在 1M 上下文下将 KV 缓存需求相比全注意力削减约 75%。Meta 发布了一个 NVFP4 checkpoint，AMD 发布了一个 MXFP4 checkpoint，我们分别将其用于 NVIDIA 和 AMD 硬件

初步结果：

➤ NVIDIA B300 和 GB300 领先，在面向吞吐量（较低单用户速度）的配置中，每兆瓦功耗的吞吐量均达到约 150M tokens/s。在更高输出速度下 GB300 更胜一筹（在 100 tok/s 时约 108M 对约 92M），但两者目前仅在聚合服务配置中测试过，我们预计 GB300 相对 B300 的领先优势会随着多节点分离式配置而扩大

➤ 服务配置正在快速改进。在同一 B300 节点上，NVIDIA 调优的 SGLang 配置在 50-100 tok/s 下，每兆瓦功耗的吞吐量约为发布周 cookbook 配置的 1.6-1.8 倍。这些收益来自 TP4 部署以及按并发调优的 prefill-decode 间隔，代价是更长的首 token 时间

➤ AMD MI355X 在 65 tok/s 下达到每兆瓦 70M tokens/s，在 65 到 100 tok/s 之间约为 B200 的 0.9 倍。AMD 10 月 22 日的 recipe 更新（prefill-decode 和 scheduler 间隔、更多 tokenizer worker、为全注意力层提供更多 KV 缓存）使其曲线每兆瓦功耗相比早先 recipe 提升约 1.7 倍

我们正在继续测试 Muse Spark Open 服务配置，包括多节点分离式部署，并将每周用目前找到的最佳结果和配置更新排行榜。我们还将发布更深入的评测，介绍在针对 Muse Spark Open 优化 kernel、推理引擎和配置方面取得的进展