跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

184条精选相关主题开源生态数据与训练端侧 AI

最新精选

第 181–184 条 · 共 184 条
7月28日周三
  1. OpenAI:官网动态(RSS · 排除企业/客户案例)76

    OpenAI 开源 Triton 1.0:让研究者无需 CUDA 经验也能写高效 GPU 代码

    OpenAI 发布开源的类 Python 编程语言 Triton 1.0,让没有 CUDA 经验的研究者也能编写高效 GPU 代码,多数情况下性能与专家手写代码相当。

    推荐理由:官方发布 Triton 1.0,说明无 CUDA 经验的研究者也能写出接近专家水平的 GPU 代码,可关注其对研究工作流的影响。

4月16日周五
  1. Hugging Face:Blog(RSS)66

    Hugging Face 发布 Accelerate 库,让 PyTorch 训练脚本适配任意分布式设备

    Hugging Face 发布开源库 Accelerate,让 PyTorch 用户只需在训练脚本中添加约五行代码,即可在多 GPU(单机或多节点)、TPU 及混合精度等任意分布式设置下运行,同时保留对训练循环的完全控制。

    推荐理由:官方发布 Accelerate 库,用五行代码改造 PyTorch 训练脚本即可适配多 GPU、TPU 和混合精度,附代码示例和 CLI 启动器。

2月9日周二
1月19日周二