跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

114条精选相关主题开源生态数据与训练端侧 AI

最新精选

第 1–20 条 · 共 114 条
今天10月1日周四
  1. Google AI:DEV 作者专属(RSS)66

    TensorFlow.js 浏览器端超分优化:一次新张量形状为何耗时 8-17 秒,以及如何消除 40 秒页面冻结

    作者分享在浏览器端用 TensorFlow.js on WebGL 做照片超分(不上传图片)的优化过程:初版用 UpscalerJS,1.2 MP 照片需 60-110 秒并冻结页面约 40 秒。

    推荐理由:作者用自己浏览器端超分项目的实测数字,拆解了 WebGL 上张量形状触发着色器重编译等坑和对应修法。

9月30日周三
  1. xAI:News(网页)62

    xAI 发布编码模型 grok-build-0.1,API 公测上线

    xAI 将编码模型 grok-build-0.1 以公开测试形式上线 xAI API,该模型专为智能体编码任务训练,支持 Web 开发、调试和 MCP,也是驱动 Grok Build 的同一模型。

    推荐理由:xAI 官方公告给出了 grok-build-0.1 的定位、速度、定价和适配工具,读者可据此评估是否接入自己的编码工作流。

  2. Prime Intellect(网页)65

    Prime Intellect 发布 INTELLECT-1:首次全球分布式训练 10B 参数模型

    Prime Intellect 启动 INTELLECT-1,称其为首个全球分布式训练的 10B 参数模型,基于 Llama-3 架构,使用超过 6 万亿 token 的数据混合(55% Fineweb-Edu、20% DLCM、20% Stack v2、5% OpenWebMath),并邀请任何人贡献算力。

    推荐理由:原文给出INTELLECT-1的训练规模、数据配比和通信优化细节,读者可据此了解全球分布式训练10B模型的可行路径。

  3. Prime Intellect(网页)70

    Prime Intellect 发布 Lab 全栈后训练平台

    Prime Intellect 发布 Lab,一个面向智能体后训练的全栈平台,将 Environments Hub 与 Hosted Training、Hosted Evaluations 整合,覆盖从大规模智能体 RL 到推理评估的完整流程。

    推荐理由:原文给出了平台组成、已完成的训练规模和定价部署细节,读者可以据此判断它能否替代自建训练基础设施。

  4. LMSYS:Blog(Chatbot Arena 团队)63

    SGLang-Diffusion 发布两个月:速度较初版提升至 2.5 倍,新增 ComfyUI 集成与 LoRA 支持

    LMSYS Chatbot Arena 团队复盘 SGLang-Diffusion 自 2025 年 11 月初发布两个月来的进展,当前版本(docker tag: lmsysorg/sglang:dev-pr-17247)比初版快最多 2.5 倍,在 NVIDIA GPU 上较其他方案最高快 5x。

    推荐理由:官方复盘发布两个月来的优化成果,速度较初版提升至 2.5 倍,并新增 ComfyUI 集成和 LoRA 支持,读者可评估是否迁移现有图像视频生成工作流。

  5. LMSYS:Blog(Chatbot Arena 团队)68

    SGLang 与 Miles 发布对 DeepSeek-V4 的 Day-0 推理与 RL 训练支持

    LMSYS 的 SGLang 与 Miles 团队宣布对 DeepSeek-V4(1.6T Pro、284B Flash)提供 Day-0 推理和 RL 训练支持,是首个在发布日同时服务与训练该模型的开源栈。

    推荐理由:LMSYS 团队详述了为 DeepSeek-V4 混合稀疏注意力等新架构所做的推理与 RL 训练优化,附基准数据。

  6. LMSYS:Blog(Chatbot Arena 团队)72

    SGLang 和 Miles 实现 NVIDIA Nemotron 3 Ultra Day-0 支持

    SGLang 和 Miles 宣布对 NVIDIA Nemotron 3 Ultra 提供 Day-0 支持。该模型为开源 MoE 混合 Transformer-Mamba 架构,总参数 550B、激活 55B,上下文最长 1M tokens,支持 NVFP4 与 BF16 权重,面向长程自主智能体优化。

    推荐理由:原文给出架构、部署配置和 RL 训练细节,读者可以据此评估该模型在长程智能体场景的可用性。

  7. LMSYS:Blog(Chatbot Arena 团队)65

    SGLang 与 Miles 为 Thinking Machines Lab 的 Inkling 提供Day-0支持

    SGLang 团队与 Thinking Machines Lab 合作,为 975B 参数、1M 上下文的多模态模型 Inkling 提供Day-0推理与 RL 支持,并为 Modal 训练的 DFlash 草稿模型提供投机解码。

    推荐理由:原文出自 SGLang 团队,给出针对 Inkling 新架构的具体优化手段和实测吞吐数字,读者可评估其对自建推理或 RL 流程的参考价值。

  8. LMSYS:Blog(Chatbot Arena 团队)71

    SGLang 与 Miles 为 Kimi K3 提供 Day-0 推理与 RL 训练支持

    SGLang 团队与 Miles 宣布在发布当天支持 Moonshot AI 的 Kimi K3,覆盖 SGLang 推理和 Miles RL 训练。K3 是首个 3 万亿参数级的开源模型,2.8T 参数、1M token 上下文,采用 69 层 KDA 线性注意力加 24 层 MLA 的混合架构及 LatentMoE 和 Attention Residuals。

    推荐理由:K3 的混合架构打破了多数推理框架的既有假设,文中给出的内存管理、投机解码与并行方案对同类服务栈有直接参考价值。

  9. LMSYS:Blog(Chatbot Arena 团队)67

    SGLang 为 Meta 30B 多模态模型 Muse Glimmer 提供 Day-0 支持

    SGLang 团队与 Meta Superintelligence Labs 合作,为 30B 参数多模态稠密模型 Muse Glimmer 提供 Day-0 支持,面向本地硬件上的智能体工作流推理。

    推荐理由:原文给出 Muse Glimmer 在 SGLang 上的多硬件部署方案和分平台实测数据,读者可据此评估本地智能体推理的可行配置。

  10. LMSYS:Blog(Chatbot Arena 团队)63

    SGLang 与 Miles 为 Qwen3.8-2.4T-A95B 提供 Day-0 支持

    SGLang 团队宣布与 Qwen、阿里百炼、NVIDIA 和 AMD 合作,在 SGLang 和 Miles 中于发布当日支持 Qwen3.8-2.4T-A95B,这是千问最大的开源模型,总参数 2.4T、每 token 激活 95B。

    推荐理由:原文给出 Qwen3.8 混合注意力架构的推理支撑细节和实测性能数字,读者可据此评估新模型在自建推理栈上的部署可行性。

  11. Liquid AI 模型与工程博客(网页)72

    Liquid AI 发布端侧智能体模型 LFM2.5-2.6B

    Liquid AI 发布 LFM2.5-2.6B,一个可完全在设备端运行的 2.6B 参数智能体模型,Base 与后训练版本已在 Hugging Face 开放。

    推荐理由:原文给出完整的四阶段后训练流程、多基准对比和 CPU 与手机端实测速度,读者可据此评估它对端侧 Agent 部署的适配度。

  12. Fireworks AI(网页)83

    Kimi K3 开源发布并上线 Fireworks:2.8T 参数、Day-0 推理与训练支持

    月之暗面的 Kimi K3 以开源权重发布,共 2.8T 总参数、104B 激活参数、896 专家、1M 上下文,并在 Fireworks 上线 Day-0 推理与训练。

    推荐理由:原文汇总了 K3 的参数规格、多项第三方基准成绩和与 Opus 5 的成本对比,读者可据此评估开源模型在自有工作流中的可行性。

  13. Fireworks AI(网页)67

    Fireworks 实测 DeepSeek V4 Pro 0813:SWE-Bench 达 95.2%,单任务成本约为 Fable 5 的三分之一

    Fireworks AI 发布对 DeepSeek V4 Pro 0813 的评测,SWE-Bench Verified 得 95.2%(Fable 5 为 85.4%),SWE-bench 单任务成本 $0.309 对 Fable 5 的 $0.808。

    推荐理由:Fireworks 用自家同一套评测对比 DeepSeek V4 Pro 与 Fable 5,给出单模型与 oracle 路由的成本和准确率数据,可作选型参考。

  14. Cursor Blog70

    Cursor 团队分享如何搭建云端智能体开发环境

    Cursor 团队分享为云端智能体搭建开发环境的经验,核心思路是把开发环境当作用户是智能体的产品来做。他们让云端 VM 与本地开发环境对齐,构建 anydev CLI 简化智能体运行服务的流程,并通过 Cursor Cloud MCP 和 Cloud Doctor 自动化功能实现环境的自愈与持续改善。

    推荐理由:Cursor 团队分享了自家云端智能体环境的搭建经验,包含 anydev CLI、Cursor Cloud MCP 等做法和可迁移的判断标准。

  15. Cursor Blog63

    Cursor 推出构建,云端智能体启动速度最快提升至 3 倍

    Cursor 推出构建功能,在后台预先准备可直接使用的开发环境副本,智能体启动即可运行,无需额外费用。默认每小时创建一次新构建,环境损坏时智能体沿用上一次成功构建;Cursor 内部环境启动速度提升 10 倍、首个 token 生成速度提升 3 倍。8 月 17 日起所有新建和现有环境将默认启用构建。

    推荐理由:官方原文给出启动速度倍数、构建频率和失败回退机制,读者可据此评估其对云端智能体工作流的影响。