跳到正文
Thomas Wolf· @Thom_Wolf · X·· 5 小时前精选AI 评分68
AI 导读

DeepSeek 宣布将支撑 DeepSeek-V4.1-Flash 大规模推理的自研框架 DeepInfer 完全开源,以 Apache 2.0 协议发布,代码在 http://github.com/deepseek-ai/DeepInfer,称可帮助社区降低算力成本和能耗。Thomas Wolf 转发并列举其此前开源的 FlashMLA(H800 上 580 TFLOPS attention)、DeepEP(MoE 通信)、DeepGEMM(1350+ FP8 TFLOPS matmul)和 3FS 文件系统,称其开源节奏令人敬佩。

推荐理由

作者梳理了 DeepSeek 从 FlashMLA 到 DeepInfer 的开源脉络,读者可以借此看清其生产级推理栈的完整版图。

正文 · AI 翻译

DeepSeek 的开源势头已经离谱到不行:
- FlashMLA:H800 上 580 TFLOPS 的注意力
- DeepEP:MoE 通信
- DeepGEMM:1350+ FP8 TFLOPS 矩阵乘法
- 3FS:他们直接造了一整套文件系统
- 而今天:V4.1-Flash 背后的完整推理引擎,Apache 2.0

肃然起敬

引用DeepSeek@deepseek_ai
🚀 介绍 DeepInfer,我们的自研推理框架,现已完全开源! 以高吞吐量和低延迟大规模支撑 DeepSeek-V4.1-Flash。我们分享我们的生产堆栈,以帮助社区降低计算成本、减少能源消耗,并让 AI 更加普惠。 🔗 http://github.com/deepseek-ai/DeepInfer 1/4
原文

🚀 Introducing DeepInfer, our in-house inference framework, now fully open source! Powering DeepSeek-V4.1-Flash at scale with high throughput and low latency. We’re sharing our production stack to help the community lower compute costs, reduce energy use, and make AI more affordable. 🔗 http://github.com/deepseek-ai/DeepInfer 1/4

在 X 查看被引用的帖子

来源:Thomas Wolf · x.com