跳到正文

#部署/工程

今日 9 条
9月24日周四
  1. vLLM 官方博客（RSS）66

    vLLM 支持基于 Gumbel-max 的无损文本水印

    vLLM 现已支持基于 Gumbel-max 算法的无失真文本水印，通过 PRF 生成可复现的 keyed 噪声并把 PRNG、Gumbel 变换和 argmax 融合为单个 GPU kernel。

    推荐理由：作者亲自实现了 vLLM 的水印功能，给出了算法原理、吞吐实测数据和启用命令，读者可以据此评估在现有推理服务中采用的成本。

  4. GitHub Blog24

    GitHub Copilot 应用如何渲染超大 pull request

    GitHub Copilot 应用重建了 pull request 视图，用一个含 2200 个文件、超 100 万行改动和 400 多条行内评论的开源 PR 做压力测试。其做法是把文档高度拆成确定性的代码几何与动态评论块两套几何：代码行高提前精确计算，评论高度则按需测量、修正幅度小且锚定在用户当前查看位置，从而避免滚动跳动。

  5. Microsoft Research 博客（RSS）62

    微软研究：把物理 AI 推理卸载出机器人可提升任务成功率与续航

    微软研究院对移动机器人操作负载做系统性测量，发现把物理 AI 推理从机载 GPU 卸载到边缘或云端 GPU 可提升任务表现与电池续航。

    推荐理由：微软对移动操作机器人推理负载的系统性测量，给出了卸载到边缘或云端 GPU 在任务成功率与续航上的量化差异。

  6. Google DeepMind：Blog（RSS）60

    Google DeepMind 为 Private AI Compute 引入安全服务端持久记忆

    Google DeepMind 公布 Private AI Compute 架构更新，将持久化的服务端记忆引入该平台，使 AI 助手能跨设备保留上下文。数据被密封在加密存储中，解锁密钥仅保存在用户个人设备上，模型访问时通过端到端加密通道连接云端安全隔离区，在隔离内存中临时解密、保存新上下文后立即重新加密。

    推荐理由：Google 公开了 Private AI Compute 的持久化服务端记忆方案，读者可了解云端记忆如何在设备持钥前提下实现。

9月23日周三
  4. Claude Code：GitHub Releases（RSS）65

    Claude Code v2.1.280 发布：新增 Claude Opus 5.5 默认模型

    Claude Code 发布 v2.1.280，新增 Claude Opus 5.5（claude-opus-5-5）并设为默认 Opus 模型，支持 1M 上下文，价格 $4/$20 per Mtok、缓存读取 $0.20/Mtok；Pro 和 Team Standard 计划默认模型也从 Sonnet 改为 Opus。

    推荐理由：原文列出该版本新增 Claude Opus 5.5 默认模型、MCP 描述长度可配置等改动，读者可对照修复清单决定是否升级。

9月22日周二
  5. vLLM 官方博客（RSS）76

    vLLM 官方发布 vllm-metal v0.28.0：在 Apple Silicon 上实现并发推理服务

    vLLM 官方宣布 vllm-metal 首个正式版本 v0.28.0，将上游 vLLM 的 V1 调度器、分页 KV cache 和 OpenAI 兼容服务带到 Apple Silicon，模型执行由 MLX 和 Metal 完成。

    推荐理由：官方详解 vllm-metal 的架构与跨引擎实测数据，读者可据此评估 Apple Silicon 上多并发推理是否值得切换。

9月21日周一
9月19日周六
9月18日周五
  1. MiniMax (official)40

    Nunchux AI 与多校研究者推出 VC-Attention，为 MiniMax-H3 带来免训练低比特注意力加速，在 B200 上比 FlashAttention-4 快 1.6×、B300 上快 1.5×，保真度优于 SageAttention2。

    引用Nunchux AI@NunchuxAI

    Introducing VC-Attention: fast and accurate low-bit attention without retraining. On MiniMax-H3, VC-Attention speeds up attention by 1.6× on B200 and 1.5× on B300 over FlashAttention-4, with better fidelity than SageAttention2. It also works with existing sparse attention methods. Two key innovations: • V-Smooth reduces value quantization error. • ExpCast-FP8 speeds up softmax. Nunchux Attention, our proprietary extension, pushes the speedup to 1.9× on B200 and 1.8× on B300. Blog: http://www.nunchux.ai/blog/attention-is-the-video-bottleneck Technical Report: http://arxiv.org/pdf/2609.15810 Joint work by researchers at MIT, CMU, UC Berkeley, Stanford, and NVIDIA.

9月17日周四
  1. jietang66

    唐杰发文复盘，GLM-5.3-Flash 从首次在国内加速器上运行到承接全部生产流量只用两周，端到端吞吐达 3.2 倍，大量工作由 GLM-5.3 驱动的 Infra Agent 完成。

    引用Z.ai@Zai_org

    We’re sharing how GLM-5.3 helped build and optimize the inference infrastructure serving GLM-5.3-Flash. The system went from its first successful run to production readiness in less than two weeks, with end-to-end throughput tripling relative to the initial baseline. The key was dense feedback: local correctness tests, execution traces, microbenchmarks, and end-to-end measurements that enabled targeted hypothesis testing rather than reliance on aggregate performance metrics alone. https://z.ai/blog/glm-built-its-inference-infrastructure

    推荐理由：作者复盘了 GLM-5.3 智能体优化推理基础设施的两周过程，提出了可迁移的分层密集反馈方法与工程师角色转变的判断。

  4. GitHub Blog85

    GitHub Copilot 用 Copilot 把运行时迁移到 Rust：80 万行代码、128 个 PR

    GitHub 用 GitHub Copilot app 和 Copilot CLI 把 Copilot agent runtime 从 TypeScript/Node.js 完全重写为超过 80 万行生产级 Rust，AI 智能体编写了大部分代码，跨 128 个 PR 增量合入 main，性能提升数个数量级，主要由一名开发者几个月内完成。

    推荐理由：GitHub Copilot 运行时迁移 Rust 的完整复盘，给出智能体并行协作、提示缓存与评审流程的可迁移工程方法。

9月16日周三
  2. NVIDIA Blog（RSS）53

    Emerald AI、Google 与 NVIDIA 发起 AI Energy Management Alliance 推动灵活用电数据中心

    Emerald AI、Google 与 NVIDIA 宣布发起 AI Energy Management Alliance（AEMA），推动数据中心根据电网状况动态调整用电。联盟主张技术中立、按性能衡量灵活性，制定并网前的响应义务、统一技术要求和更快并网通道，汇聚 AI 平台、数据中心、电力公司与电网运营商等价值链成员，以提升现有电网容量利用、缩短 AI 设施并网时间。

  3. Together AI 研究与产品博客（RSS）53

    Together AI 详解从闭源模型迁移到开源模型的策略

    Together AI 发布从闭源模型迁移到开源模型的指南，称采用托管服务可将迁移周期从数月到数年缩短为数周到数月。方法分发现、评估、适配、决策、生产五步，核心是用真实流量回放而非通用基准做评估，并按系统提示词、推理参数、上下文工程、微调四个杠杆迭代适配；文中提到部分客户迁移后成本最多降低 70%，可用 10% 流量的金丝雀部署开始上线。

  4. Apple Machine Learning Research（RSS）38

    Glyph：面向企业数据目录列描述与敏感本体标注的多策略智能体系统

    Apple 研究团队提出 Glyph，一个将列描述生成与列类型标注建模为有状态图编排的多智能体 LLM 生产系统。其 Descriptor 通过推理-行动工具循环从企业 GitHub 按需检索管道源码来支撑生成，Tagger 并行运行描述、业务线正则与元数据三种策略，并用 RRF 融合排序结果，从 275 叶节点的数据分类本体中打标。

  7. NVIDIA Technical Blog（开发者技术博客 · RSS）21

    NVIDIA Groq 3 LPX 的确定性执行如何在 NVIDIA Vera Rubin 上驱动高能效高交互推理

    NVIDIA Groq 3 LPX 通过确定性执行，在 NVIDIA Vera Rubin 平台上实现高交互推理的能效提升。该方案针对 AI 工厂的功耗约束，以每瓦性能而非原始吞吐量作为衡量 AI 平台价值的核心指标。Vera Rubin 平台正是为在有限功耗预算内最大化输出而设计。

9月15日周二
  1. NVIDIA Technical Blog（开发者技术博客 · RSS）28

    NVIDIA FLARE 如何跨 Docker、Kubernetes 和 Slurm 扩展联邦学习

    NVIDIA 技术博客介绍如何用 NVIDIA FLARE 将联邦学习从单服务器、少量客户端的简单部署扩展到跨 Docker、Kubernetes 和 Slurm 的共享基础设施。随着项目规模增长，挑战从运行算法转向运营共享基础设施：按需分配 GPU、隔离多个研究任务，并让每个参与机构保留对自身数据的控制权。

9月14日周一