SGLang 联合 Google TPU 团队和 Meta PyTorch 团队发布 SGLang-TorchTPU，一个让 SGLang 支持 TPU 的插件，已在 Meta 用于生产推理，代码开源于 github.com/sgl-project/sglang-torchtpu。它支持 Muse Spark Open、GLM-5.3 Flash、Kimi K3、Ling 3.1 Flash、MiniMax H3 等开源模型和大规模智能体工作负载，自定义 MegaKernel 让 Muse Spark Open 在 InferenceX 8K/1K、bs=1 下达到 770 tok/s 解码速度。蚂蚁百灵转发并感谢相关团队，称其为 PyTorch 原生的 TPU 服务方案，扩展了高效 MoE 推理的硬件选择。
原文给出 SGLang-TorchTPU 的开源地址和 TPU 上可用的主流开源模型清单，读者可据此评估推理部署选型。
很高兴看到 Ling 3.1 Flash 和 Ling 3.0 系列出现在 SGLang-TorchTPU 发布阵容中！感谢 @sgl_project、Google 和 Meta 将 PyTorch 原生服务带到 TPU——为高效的 MoE 推理和智能体工作负载扩展了硬件选择。
今天我们推出 SGLang-TorchTPU，与 @Google TPU 团队和 Meta @PyTorch 团队共同打造。 我们很兴奋地看到它正在为 Meta 的生产推理提供支持！ SGLang-TorchTPU 是 SGLang 的一个 TPU 插件，带来了： - TPU 上的顶级开源模型：Muse Spark Open、GLM-5.3 Flash、Kimi K3、Ling 3.1 Flash、MiniMax H3 - SGLang 面向大型智能体工作负载的生产级特性 - 自定义 MegaKernel：Muse Spark Open 在 InferenceX 8K/1K 上，bs=1 时解码速度达到 770 tok/s SGLang-TorchTPU 现已可用：http://github.com/sgl-project/sglang-torchtpu
原文
Today we launch SGLang-TorchTPU, built with @Google TPU team and Meta @PyTorch team. We’re excited to see it powering production inference at Meta! SGLang-TorchTPU is a TPU plugin for SGLang that brings: - Top open models on TPU: Muse Spark Open, GLM-5.3 Flash, Kimi K3, Ling 3.1 Flash, MiniMax H3 - SGLang’s production features for large agentic workloads - Custom MegaKernel: Muse Spark Open hits 770 tok/s decode at bs=1 on InferenceX 8K/1K SGLang-TorchTPU is available now: http://github.com/sgl-project/sglang-torchtpu
来源：Ant Ling · x.com