Meta 开放 Muse Spark Open 权重，816B 总参数 42B 激活、1M 上下文

今天，Meta 发布了 Muse Spark Open 的权重，这是迄今为止能力最强的美国开放权重模型。它今天已在 Hugging Face 上依据 Muse Model License 提供。Muse Spark Open 在 SGLang 和 vLLM 推理引擎上进行了优化运行，并针对 NVIDIA、AMD 和 Intel 做了优化。

基于我们 8 月发布的 Muse Spark，这个开放权重版本增加了额外的安全后训练，使其在没有系统护栏的情况下作为独立模型时更能抵御滥用。结果是，该模型成为安全方面顶级的开源选择。Muse Spark Open 是一个 816B 总参数/42B 激活参数的模型，上下文窗口为 1M tokens。Muse Spark Open 专为编码和智能体工作而构建，原生多模态，并与 Muse Spark 1.3 共享相同的基础模型。

Meta 热爱开源，作为 PyTorch 的创造者，我们致力于回馈社区，确保整个生态系统完全支持 Muse Spark Open。首先，我们集成了 Helion，这是我们令人兴奋的新 PyTorch 原生高级 DSL，用于高性能且可移植的 ML 内核，以提供高性能运算。此外，TorchTitan 已经开箱即用地支持 Muse Spark，用于公开的监督微调和 RL，我们很期待看到 PyTorch 社区能把它推进到多远！

Muse Spark Open

Muse Spark Open 是一个为编码优化的开放权重模型。它专门针对智能体编码工作流进行训练，具有更高的首次尝试准确率、可靠的工具调用能力，以及对开发者实际所用仓库的深入代码库理解。你可以在我们之前的模型发布博客中此处了解更多。

增强的编码能力

擅长代码生成、调试和代码库理解。基于真实开发者工作流训练——多文件重构、调试会话和长时间运行任务——因此该模型能跟上你实际的工作方式。1M 上下文窗口意味着它可以处理你的整个项目，包括复杂依赖、遗留代码和数千个文件，而无需将任务拆分成多个部分

多模态理解

Muse Spark Open 具备音频和音视频感知能力——以及图像和文档理解能力。作为一个推理模型，它能够原生且可靠地处理图像、音频和文本输入。

智能体

Muse Spark Open 从底层构建为一款智能体模型。它能够制定步骤、行动、观察，并在长时间跨度内自我纠正——而不仅仅是单次工具调用。它经过训练可以浏览网页（包括多模态浏览），并使用智能体框架来：为可分解的工作生成并协调子智能体；以及利用统一于桌面、移动端和浏览器的计算机使用能力。它基于长时跨度、多站点任务进行训练，并生成独立的评论，让模型在行动前表明意图——这样你始终能知道它在做什么以及为什么。

为什么选择 Helion 内核？

Helion 是一种 PyTorch 原生内核编写语言，专为跨异构硬件平台编写高性能内核而设计。在获得开源生态系统的早期采用后，Helion 于 2026 年 4 月成为 PyTorch Foundation 的一部分。Muse Spark Open 随附了 RoPE、RMSNorm、量化等操作的 Helion 实现，在 NVIDIA GB300 上相比使用硬件特定语言（如 NVIDIA CUDA 和 CuTe DSL）编写的自定义内核，实现了 1.03 – 3.95 倍的加速。这些相同的内核可直接移植到 AMD，在 AMD Mi350 上取得了类似的性能提升，端到端吞吐量整体提升了 3%。

此外，我们还在 SGLang 中为 Muse Spark Open 推出了 Helion 巨型内核（megakernels）。这些内核完全用 Helion 编写，将多个操作融合到单个持久内核中，以改善低延迟推理，并且同样可以针对不同的形状和硬件进行自动调优。

用户还可以针对更广泛的硬件平台和工作负载进一步自动调优 Helion 内核——包括不同的加速器架构（NVIDIA、AMD、Google TPU 等）、量化格式、张量形状和并行策略——而无需为每种配置维护单独的手动调优实现。这些能力共同使得在降低开发和维护专用内核成本的同时，更容易实现可移植的性能。

使用 TorchTitan 进行后训练

TorchTitan 是一个 PyTorch 原生平台，专为生成式 AI 模型的快速实验和大规模训练而设计。从今天起，TorchTitan 新增了 Meta 的 Muse Spark Open 的模型定义，因此开发者可以根据自己的需求对其进行调优。

TorchTitan 开箱即用地原生支持多轮 SFT 和 LoRA，以及允许用户微调 Muse Spark Open 的强化学习能力（TitanRL）。

开始使用

我们分享这项工作是因为我们希望每个人都能使用最好的 AI 模型。Muse Spark Open 随附了 SGLang 中自定义、可自动调优的 Helion GPU 内核，在 NVIDIA 和 AMD GPU 上实现了 1.03–3.95 倍的内核级加速，在 AMD MI350 上实现了 3% 的端到端加速。你还可以利用 PyTorch 的 TorchTitan 进一步调优该模型，以定制化你的用例。

今天就开始构建：https://huggingface.co/meta-models/Muse-Spark-open-816B-A42B

Muse Spark 是我们模型系列中的全尺寸模型。我们此前发布了 Muse Glimmer，一个小型稠密模型。今天就可以通过 ExecuTorch 开始使用它。

文章 Muse Spark 现已成为开放权重模型首次出现在 PyTorch 上。