Google 与 Meta 开源 TorchTPU 原生 TPU 后端

Google 与 Meta 合作推出开源项目 TorchTPU，为 Google TPU 提供 PyTorch 原生后端，模型迁移只需把 .to("cuda") 改为 .to("tpu")，无需改写为 JAX。Google 同时发布了 TorchTitan 的 TPU 分支和一份优化指南，其中 SimpleFSDP、Graph Trainer、Pallas 内核等组件可以单独开关；Google 称指南中列出的优化手段大多已接入随分支提供的训练配方。 适用范围有边界：Google 称该后端支持的大多数稠密架构可以原样训练；混合专家（MoE）检查点走同一路径，但暂不支持专家并行。Google 表示，第八代 TPU（预训练用 TPU 8t、推理与强化学习用 TPU 8i）上架 Google Cloud 后将支持 TorchTitan，并沿用原有配方。 TorchTPU 仍在开发中，Google 与 Meta 称其已用于部分大型 Google Cloud 客户的推理和训练工作负载；在 TPU 上调用 torch.compile 时，目前会自动设 dynamic=False 作为临时限制。设计上默认关闭的 Tier-3 存储可指定共享存储路径显式启用，双方还计划接入 Hugging Face 等平台。

AI 根据报道生成 · 49 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。