Hugging Face 博客介绍原生 PyTorch TPU 后端 TorchTPU

Hugging Face 发布博客称，借助 PyTorch 原生后端 TorchTPU，Transformers、Diffusers 和 Kernels 可原生运行在 Google TPU 上，模型只需设置 device_map="tpu" 即可加载，不再需要 torch_xla 或 Optimum TPU。 按博客说明，在 TPU VM 上安装只需一条命令 pip install torch-tpu --extra-index-url https://download.pytorch.org/whl/cpu；首次调用会编译，之后相同图像尺寸的调用复用已编译的计算图。Hugging Face 称，在 batch size 64 下，Qwen3-30B-A3B 的解码速度提升 21.5 倍，Gemma 4 26B-A4B 提升 12.8 倍；在 TPU 上运行的测试通过率为 96.5%。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。