Google 发布 TPU 原生 PyTorch 推理引擎 vLLM 与 SGLang
先了解这件事
Google 发布基于 TorchTPU 的原生 PyTorch 推理后端 vLLM-TorchTPU 和 SGLang-TorchTPU，分别与 Inferact、RadixArk 合作开发，让开发者用 PyTorch 工具在 TPU 上部署模型。Google 称，两款引擎已在预览客户的生产环境中大规模运行。 vLLM 官方博客介绍了使用条件：需要 Cloud TPU VM 上的 Python 3.12，安装时会一并装上与插件匹配的 vLLM、torch、torch_tpu 和 libtpu；推荐使用 TPU v7x（Ironwood），v6e、v5e、v5p 为实验性支持；首次启动需要为配置的形状编译 TPU 图，耗时数分钟。vLLM 称其现有模型代码可以复用，大多数已支持模型无需改动即可在 TPU 上提供服务。 vLLM 同步推出社区贡献 TPU 算力池，向积极贡献这两款引擎的开发者提供免费 TPU 算力；基于 vllm-torchtpu 构建的开发者可以申请免费 TPU 时间，Inferact 的核心维护者会协助设计和 PR 审查。Google 表示将继续进行性能优化、增加功能，并推动更多模型原生支持 TPU，包括新开源模型的 Day 0 支持。
AI 根据报道生成 · 47 分钟前更新
报道时间线
沿着报道，了解事件的不同侧面。
- vLLM 官方博客vLLM 发布 TorchTPU 后端，可在 Google Cloud TPU 上运行 vLLM
Inferact 与 Google 合作发布 vLLM TorchTPU（vllm-torchtpu），一个在 Google Cloud TPU 上运行 vLLM 的后端插件，复用 vLLM 现有模型代码，大多数已支持模型无需改动即可在 TPU 上服务。
- Google Developers Blog精选Google 发布 vLLM-TorchTPU 与 SGLang-TorchTPU 推理引擎
Google 在 PyTorch 相关公告中推出基于 TorchTPU 的 vLLM 与 SGLang 原生 PyTorch 推理引擎，分别与 Inferact 和 RadixArk 合作开发，让开发者用熟悉的 PyTorch 工具在 TPU 上部署模型。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。