Lilian Weng 长文解读如何在多 GPU 上训练超大模型

Lilian Weng 在博客中系统讲解在多 GPU 上训练超大模型的方法，覆盖数据并行、模型并行、流水线并行、张量并行和 MoE 等并行范式。文章结合 GPipe、PipeDream、Megatron-LM、GShard、Switch Transformer 等工作分析流水线气泡、门控路由设计，并介绍激活重计算、混合精度训练和 ZeRO 等节省显存的方法。