跳到正文

部署工程

把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。

114条精选相关主题开源生态数据与训练端侧 AI

最新精选

第 61–80 条 · 共 114 条
9月24日周四
  2. vLLM 官方博客（RSS）66

    vLLM 支持基于 Gumbel-max 的无损文本水印

    vLLM 现已支持基于 Gumbel-max 算法的无失真文本水印，通过 PRF 生成可复现的 keyed 噪声并把 PRNG、Gumbel 变换和 argmax 融合为单个 GPU kernel。

    推荐理由：作者亲自实现了 vLLM 的水印功能，给出了算法原理、吞吐实测数据和启用命令，读者可以据此评估在现有推理服务中采用的成本。

  3. Boris Cherny65

    Boris Cherny 介绍 claude.ai 和 Desktop 应用近几周明显变快的原因，团队发布了博文说明做法。@ClaudeDevs 的引用帖称 claude.ai 在两周内快了 3x，博文讲解如何用 Claude 测量、调试和改进性能，并附上提示词和方法，链接为 https://claude.dev/blog/how-we-made-claude-ai-faster/。作者表示博文中有不少对想给自家应用提速的工程师有用的经验与技巧。

    引用ClaudeDevs@ClaudeDevs

    We made claude​.ai 3x faster in two weeks. Here’s how we use Claude to measure, debug and improve performance. Prompts and methods included. https://claude.dev/blog/how-we-made-claude-ai-faster/

    推荐理由：Anthropic 团队分享了用 Claude 测量、调试并让 claude.ai 在两周内提速 3x 的具体方法，文中附带了可直接复用的提示词。

  4. Microsoft Research 博客（RSS）62

    微软研究：把物理 AI 推理卸载出机器人可提升任务成功率与续航

    微软研究院对移动机器人操作负载做系统性测量，发现把物理 AI 推理从机载 GPU 卸载到边缘或云端 GPU 可提升任务表现与电池续航。

    推荐理由：微软对移动操作机器人推理负载的系统性测量，给出了卸载到边缘或云端 GPU 在任务成功率与续航上的量化差异。

  5. Google DeepMind：Blog（RSS）60

    Google DeepMind 为 Private AI Compute 引入安全服务端持久记忆

    Google DeepMind 公布 Private AI Compute 架构更新，将持久化的服务端记忆引入该平台，使 AI 助手能跨设备保留上下文。数据被密封在加密存储中，解锁密钥仅保存在用户个人设备上，模型访问时通过端到端加密通道连接云端安全隔离区，在隔离内存中临时解密、保存新上下文后立即重新加密。

    推荐理由：Google 公开了 Private AI Compute 的持久化服务端记忆方案，读者可了解云端记忆如何在设备持钥前提下实现。

9月23日周三
  1. Claude Code：GitHub Releases（RSS）65

    Claude Code v2.1.280 发布：新增 Claude Opus 5.5 默认模型

    Claude Code 发布 v2.1.280，新增 Claude Opus 5.5（claude-opus-5-5）并设为默认 Opus 模型，支持 1M 上下文，价格 $4/$20 per Mtok、缓存读取 $0.20/Mtok；Pro 和 Team Standard 计划默认模型也从 Sonnet 改为 Opus。

    推荐理由：原文列出该版本新增 Claude Opus 5.5 默认模型、MCP 描述长度可配置等改动，读者可对照修复清单决定是否升级。

9月22日周二
  2. vLLM 官方博客（RSS）76

    vLLM 官方发布 vllm-metal v0.28.0：在 Apple Silicon 上实现并发推理服务

    vLLM 官方宣布 vllm-metal 首个正式版本 v0.28.0，将上游 vLLM 的 V1 调度器、分页 KV cache 和 OpenAI 兼容服务带到 Apple Silicon，模型执行由 MLX 和 Metal 完成。

    推荐理由：官方详解 vllm-metal 的架构与跨引擎实测数据，读者可据此评估 Apple Silicon 上多并发推理是否值得切换。

9月17日周四
  1. Unsloth AI67

    Unsloth 发布更新的 Unsloth Docker 镜像，可免设置地在本地训练和运行 500+ 模型，提供新 GUI 和 notebooks 两种工作流，依赖已预装，支持 NVIDIA 和 AMD。指南见 https://unsloth.ai/docs/get-started/install/docker ，代码见 https://github.com/unslothai/unsloth 。

    引用Unsloth AI@UnslothAI

    Introducing Unsloth Desktop 🦥 The first desktop app to run and train models locally. • Open-source. Runs on Mac, Windows and Linux • Supports MLX, diffusion image/video, audio, GGUF • Connect Claude Code and Codex to local LLMs • 50% more accurate, self-healing tool calls + sandboxed code exec • Works for CPU + multiGPU setups - NVIDIA, AMD, Intel, Mac • Train models 2× faster with 70% less VRAM • Private web search, deep research, RAG, MCP and exports (NVFP4, GGUF) • Use Unsloth’s OpenAI-compatible API and cloud models • Securely deploy LLMs remotely and access anywhere Unsloth Desktop is now available on http://unsloth.ai and GitHub. GitHub: https://github.com/unslothai/unsloth Blog and Guide: https://unsloth.ai/docs/desktop

    推荐理由：原文给出免配置的本地训练运行入口和适用硬件范围，读者可以据此评估是否替换现有部署流程。

  2. jietang66

    唐杰发文复盘，GLM-5.3-Flash 从首次在国内加速器上运行到承接全部生产流量只用两周，端到端吞吐达 3.2 倍，大量工作由 GLM-5.3 驱动的 Infra Agent 完成。

    引用Z.ai@Zai_org

    We’re sharing how GLM-5.3 helped build and optimize the inference infrastructure serving GLM-5.3-Flash. The system went from its first successful run to production readiness in less than two weeks, with end-to-end throughput tripling relative to the initial baseline. The key was dense feedback: local correctness tests, execution traces, microbenchmarks, and end-to-end measurements that enabled targeted hypothesis testing rather than reliance on aggregate performance metrics alone. https://z.ai/blog/glm-built-its-inference-infrastructure

    推荐理由：作者复盘了 GLM-5.3 智能体优化推理基础设施的两周过程，提出了可迁移的分层密集反馈方法与工程师角色转变的判断。

  3. GitHub Blog85

    GitHub Copilot 用 Copilot 把运行时迁移到 Rust：80 万行代码、128 个 PR

    GitHub 用 GitHub Copilot app 和 Copilot CLI 把 Copilot agent runtime 从 TypeScript/Node.js 完全重写为超过 80 万行生产级 Rust，AI 智能体编写了大部分代码，跨 128 个 PR 增量合入 main，性能提升数个数量级，主要由一名开发者几个月内完成。

    推荐理由：GitHub Copilot 运行时迁移 Rust 的完整复盘，给出智能体并行协作、提示缓存与评审流程的可迁移工程方法。

9月10日周四
  1. SiliconFlow70

    DeepSeek-V4.1-Flash 在 SiliconFlow 上线，提供 Day 0 支持。模型为 552B MoE，prefill 阶段约激活 8B、decode 阶段约激活 16B，支持原生视觉与 1M 上下文窗口，KV cache 占用相比 V4 Flash 约缩小 4 倍，采用 MIT 许可证，主打高吞吐生产级推理。

    推荐理由：上线方直接给出参数结构、上下文窗口、KV cache 对比和许可证信息，读者可据此评估实际部署选型。

9月8日周二
  1. Mistral AI：News（网页）66

    Mistral 完成 30 亿欧元 D 轮融资，估值超 210 亿欧元

    Mistral 宣布完成 30 亿欧元 D 轮融资，投后估值超过 210 亿欧元，由三星电子领投，Scaleup Europe Fund 和 PSG Equity 联合领投。Mistral 称这是欧洲科技公司完成的最大规模股权融资，资金将用于扩展前沿研究、算力、基础设施和商业增长。公司目前业务覆盖 20 个国家，服务 125 家以上全球企业，包括 Airbus、ASML 和 HSBC。

    推荐理由：Mistral 完成欧洲科技公司规模最大的股权融资，读者可了解其主权 AI 全栈路线与投资方结构。

  2. vLLM 官方博客（RSS）65

    vLLM 联合 AgentX 优化真实智能体推理服务，成本较 Opus 5 API 最多低 106×

    vLLM 团队发布针对智能体负载的全栈优化方案，覆盖 KV 缓存管理、并行策略与 P/D 分离配比，并在 SemiAnalysis AgentX 公开基准上验证。

    推荐理由：原文给出 vLLM 针对 AgentX 基准的全栈优化路径与可复现结果，读者可以借此理解智能体负载的服务优化思路。

9月4日周五
  1. Unsloth AI71

    Unsloth 发布 GLM-5.3-Flash 的本地 GGUF 优化方案，通过更快解码和 MTP 支持使本地推理提速 1.6 至 3.4 倍，长上下文下最高达 3.3 倍。3-bit 量化可在 128GB 内存设备上通过 Unsloth Desktop 或 llama.cpp 运行，GGUF 权重和指南已发布，开箱即用且无需额外模块或 MTP 文件。

    引用Z.ai@Zai_org

    Introducing GLM-5.3-Flash - Leading capabilities at a highly competitive price - Natively multimodal with a 1M-token context window - A 320B-A18B model released under the MIT License - Previously previewed as Ox Alpha, running entirely on Chinese AI chips Blog: http://z.ai/blog/glm-5.3-flash Available now across all official platforms: Weights: http://huggingface.co/zai-org/GLM-5.3-Flash API: http://docs.z.ai/guides/llm/glm-5.3-flash Coding Plan: http://z.ai/subscribe ZCode: http://zcode.z.ai/en Chat: http://chat.z.ai AutoClaw: http://autoclaw.z.ai

    推荐理由：原文给出本地推理提速的具体配置和硬件门槛，读者可以直接复用到自己的 GLM-5.3-Flash 部署中。

9月3日周四
  1. Hugging Face：Blog（RSS）63

    Hugging Face 教程：用 TRL 对 LFM2.5-350M 做 100 步 GRPO 微调提升结构化输出

    Hugging Face 发布教程，用 TRL 库对 LiquidAI/LFM2.5-350M 做 GRPO 微调，仅用约 500 个样本和 100 步训练，将其在 IFStruct benchmark 上的通过率从 22.6% 提升到 29.7%。

    推荐理由：教程给出完整可复现的低成本 GRPO 微调流程和逐项评测数字，读者可以照着在免费 GPU 上复刻这一结构化输出改进方法。

8月25日周二
  1. Hugging Face：Blog（RSS）70

    Gradio gr.Workflow 指南：用节点图搭建并部署 AI 工作流

    Hugging Face 发布 gr.Workflow 实用指南，介绍 Gradio 内置的工作流功能：用户把步骤描述为带类型的节点图，Gradio 提供可拖拽画布，每个节点可单独运行、中间结果可见，同一张图自动成为 REST API 并可一键部署到 Hugging Face Spaces。

    推荐理由：原文给出 gr.Workflow 的节点图构建、REST API 调用和 Spaces 部署的完整示例，读者可直接 Duplicate 改造成自己的流程。

8月21日周五
  1. Together AI 研究与产品博客（RSS）69

    Together AI 实测 GLM-5.3 与 Claude Fable 5 在 DeepSWE 上的成本、编码与路由表现

    Together AI 在 DeepSWE 的 113 个任务上各跑 4 次试验对比 GLM-5.3 与 Claude Fable 5，pass@1 分别为 69.0% 和 69.7%，属统计平手，但 GLM-5.3 每次 rollout 成本 $3.99，比 Fable 的 $21.63 低 5.4 倍。

    推荐理由：原文基于同一批次 904 次 rollout 给出成本与 pass@k 对比，可帮助读者在两个相近模型间做默认与升级的路由选择。

  2. Hugging Face：Blog（RSS）62

    Hugging Face 解析 Papers with Code 混合搜索背后的架构实践

    Hugging Face 详解 Papers with Code 论文搜索引擎的架构：用 PostgreSQL 全文检索加 pgvector 语义召回，经加权 RRF 融合为混合搜索，已为超过 11 万篇 arXiv 论文维护嵌入向量。

    推荐理由：作者亲述 Papers with Code 混合搜索的架构与生产经验，读者可以借鉴其离线批量与在线查询分离的设计方法。