NVIDIA Dynamo 推出影子引擎恢复，LLM 推理容量秒级恢复

NVIDIA Dynamo 预览版新增影子引擎恢复功能，可在 LLM 引擎进程故障后数秒内恢复推理容量，替代需从存储加载权重到 HBM、编译 kernel 并捕获 NVIDIA CUDA graphs 的冷启动路径。大模型冷启动初始化通常耗时数分钟，期间存活 worker 需承接转移流量。

Lee Robinson@leerobAI 评分4444

我们刚刚提高了 Cursor 中 Grok 模型的包含用量！ 随着 Grok 4.6 的发布，需求一直在增长。上个月我们已经通过增加算力将限额翻倍。现在我们将再次永久上调限额。 尽情享用！

NVIDIA 发布 CUDA Python 1.0：稳定 API、统一基础与完整平台访问

NVIDIA 技术博客宣布 CUDA Python 1.0，主打稳定 API、统一基础和对完整平台的访问。文章指出此前 Python 开发者要用 GPU 只有两条现实路径：学 CUDA C++ 写扩展并维护 Python 绑定，或依赖 PyTorch、CuPy、RAPIDS 等上层库，而后者虽有局限却推动了 Python GPU 生态的繁荣。

SemiAnalysis 实测 OpenAI Jalapeño 推理芯片：多项 perf/W 结果超越 Nvidia Blackwell

SemiAnalysis 受邀在实验室实测 OpenAI 与 Broadcom 合作、为 LLM 推理从零设计的 Jalapeño 芯片，称其在 DeepSeek R1、Kimi K2.5、GPT-OSS 等模型上的 perf/W 超越其测过的所有 Nvidia、AMD、Google 芯片。

Multiverse Computing 提出 Quantization-Aware Healing：60B 4-bit 模型在 9 项基准中 7 项反超全精度原版

Multiverse Computing 发布论文 Quantization-Aware Healing（QAH），将 GPT-OSS 120B 压缩到 60B 参数并量化为 MXFP4 后，直接从压缩前的原始模型做 KL 蒸馏。

Gradio gr.Workflow 指南：用节点图搭建并部署 AI 工作流

Hugging Face 发布 gr.Workflow 实用指南，介绍 Gradio 内置的工作流功能：用户把步骤描述为带类型的节点图，Gradio 提供可拖拽画布，每个节点可单独运行、中间结果可见，同一张图自动成为 REST API 并可一键部署到 Hugging Face Spaces。

Meta 发布 MetaRoCE：面向 AI 规模以太网的开源 RDMA 传输协议

Meta 发布 MetaRoCE，一个为 AI 工作负载在商品化以太网上从零设计的 RDMA 传输协议，将通过 OCP 开放规范、参考软件实现和合规测试套件。

Meta 发布首款内置 NIC 与通信卸载引擎的自研训练芯片 MTIA 300

Meta 在工程博客发布自研训练芯片 MTIA 300，这是 MTIA 家族中首款针对推荐与排序模型训练优化的加速器。

Hot Chips 2026：Nvidia 提出在 RISC-V CPU 上运行 CUDA 的要求

Nvidia 在 Hot Chips 2026 上介绍将 CUDA 扩展到 RISC-V CPU 的要求，包括 RVA23 Profile、RISC-V 服务器 SoC 与平台规范、ACPI、PCIe 一致性和点对点 PCIe 通信等，并与 SiFive 合作演示运行 CUDA 的服务器系统。作者指出绝大多数现有 RISC-V 硬件尚不满足要求，近期支持可能仅限于服务器级系统。

Mistral 与 HUMAIN 达成战略合作，推进沙特及中东主权 AI

Mistral 与 HUMAIN 宣布在 AI 基础设施、先进模型开发和 AI 解决方案部署上展开战略合作，聚焦网络安全与语音，并计划开发阿拉伯语表现强劲的前沿模型。合作规模达数亿欧元，Mistral 将探索使用 HUMAIN 数据中心基础设施，双方还将在沙特面向受监管行业制定联合市场策略。

NVIDIA Spectrum-X Ethernet 如何改写 Giga-Scale AI 网络规则

生成式 AI 推动分布式模型训练扩展至数十万块 GPU，节点间的 scale-out 网络已成为首要性能瓶颈。NVIDIA 在技术博客中解析 Spectrum-X Ethernet 如何针对这一瓶颈改写传统以太网的规则。

NVIDIA Groq 3 LPX 如何在 NVIDIA Vera Rubin 上实现长上下文超快交互

NVIDIA Groq 3 LPX 是 NVIDIA Vera Rubin 平台的交互式 AI 推理加速器，与 Vera Rubin NVL72 搭配可扩展该平台的长上下文交互能力。Vera Rubin NVL72 面向从小型到大型、开源与闭源的最广泛 AI 工作负载，兼顾高吞吐与交互性。

NVIDIA Vera CPU 如何解决智能体 AI 集群难题

NVIDIA 发文阐述用 Vera CPU 应对智能体 AI 集群挑战：GPU 负责运行模型，CPU 承担编排、工具执行与沙箱计算。文章指出，与传统负载稳定的运行特征不同，智能体工作负载不可预测且波动极大，AI 工厂的集群经济性取决于整个技术栈将电力与资本转化为已完成智能体任务的效率。

NVIDIA DSX MaxLPS 如何最大化 AI 工厂每瓦性能

NVIDIA 发布 DSX MaxLPS，用于提升 AI 工厂的每瓦性能。AI 工厂是受功耗约束的工业系统，对 AI 推理负载而言，应用层每瓦性能已成为衡量 AI 工厂效率的关键指标，因为配电、冷却等环节会消耗部分兆瓦电力，并非每兆瓦都能转化为产生收入的算力。

SemiAnalysis 发布 AgentX 1.0 开源百万上下文多轮智能体推理基准

SemiAnalysis 发布 AgentX 1.0，称其为全球首个 Apache 2.0 开源、100 万上下文的多轮智能体编码推理基准，投入超过 300 万美元构建数据集。

Hot Chips 2026：High Bandwidth Flash（HBF）如何应用于机器学习负载

Hot Chips 2026 教程日上，Anurag Agarwal 与 Radhakrishna Giduthuri 探讨了 High Bandwidth Flash（HBF）在机器学习负载中的应用，由于尚无 HBF 产品，演讲基于模拟与预测。

Hot Chips 2026：三星与 HBM Base Die 的机会

三星在 Hot Chips 2026 上介绍了 HBM Base Die 的三阶段演进方案，HBM4 与 HBM4E 的 base die 已改用 4nm 逻辑工艺以抑制功耗上升。

vLLM 探讨 AMD GPU 上的投机解码：对比五种起草方法并给出实测吞吐

vLLM 官方博客解析投机解码的 draft-and-verify 机制，对比 native MTP、Gemma 4 MTP、EAGLE-3、DFlash、DSpark 五种起草方法的差异。

vLLM 如何用 Ray Direct Transport（RDT）实现大规模分片权重传输

vLLM 推出基于 Ray Direct Transport（RDT）的原生分片权重传输引擎，在 48 个 8xH100 节点（32 训练、16 推理）上以 BF16 完成 Kimi K2 的权重传输仅需 7.53 秒。

NVIDIA 用 GPU 加速的 AdaptGrow 实现大规模金融工具聚类

NVIDIA 提出 GPU 加速的矩阵分解算法 AdaptGrow，可将滚动相关性与尾部依赖矩阵转化为硬聚类、软因子载荷和结构突变信号，支持单 GPU 与多节点规模。该算法面向量化策略中的投资组合构建、风险聚合、统计套利与交易监控等场景，错误的工具分组会带来问题。

Together AI 实测 GLM-5.3 与 Claude Fable 5 在 DeepSWE 上的成本、编码与路由表现

Together AI 在 DeepSWE 的 113 个任务上各跑 4 次试验对比 GLM-5.3 与 Claude Fable 5，pass@1 分别为 69.0% 和 69.7%，属统计平手，但 GLM-5.3 每次 rollout 成本 $3.99，比 Fable 的 $21.63 低 5.4 倍。

SkyRL 推出 IsoExec：统一执行消除训练与推理引擎不匹配

SkyRL 提出 IsoExec，通过跨框架统一执行抽象消除 RL 训练与推理引擎之间的数值不匹配，包含执行契约与对齐的批不变内核两部分，已在 SkyRL 中结合 vLLM 和 Megatron 实现。

Hugging Face 解析 Papers with Code 混合搜索背后的架构实践

Hugging Face 详解 Papers with Code 论文搜索引擎的架构：用 PostgreSQL 全文检索加 pgvector 语义召回，经加权 RRF 融合为混合搜索，已为超过 11 万篇 arXiv 论文维护嵌入向量。

Liquid AI 发布 LFM2.5-DSpark 草稿模型，推理最高提速 3.2 倍

Liquid AI 为 LFM2.5-1.2B-Instruct、LFM2.5-2.6B 和 LFM2.5-8B-A1B 发布 DSpark 草稿模型检查点，采用推测解码，GPU 上吞吐最高提升 3.18 倍，端侧最高 2.87 倍，输出质量不变。

SemiAnalysis 解析 Cerebras CS-4：同一代 WSE-3 如何实现性能翻倍

SemiAnalysis 深度解读 Cerebras 新发布的第四代机架 CS-4：它沿用第三代 5nm WSE-3 晶圆级引擎，靠提高功耗和时钟频率、提升机架密度（每机架 3 个晶圆，TDP 约 125-135kW）实现性能翻倍，片外 I/O 从 1.2Tb/s 升至 2.4Tb/s，晶圆间延迟从 5 微秒降到 3 微秒。

同一集群利用率提升 33 个百分点：约束感知 GPU 分配器如何改变分配顺序

一个约束感知 GPU 分配器在相同硬件与负载下，相比 FIFO 调度器将 GPU 利用率最多提升 33 个百分点，优先级加权产出在全部场景中上升，最高增幅 105%。在五个真实争用场景中，利用率从 52–85% 提升至 72–88%，优先级加权价值平均增长 52%。该分配器把实时推理需求当作随时步变化的曲线而非全天峰值预留，并按优先级在整个调度周期内放置批式任务。

vLLM-Omni 推出分布式逐层卸载，可在多卡上高效运行 200B+ 级 DiT 模型

vLLM-Omni 团队发布 Distributed Layerwise Offload，让超过单卡 HBM 的视频生成模型（如 Cosmos3-Super 64B / 124 GB）可在多块 NPU 或 GPU 上运行。

Together AI 推出端点级 LLM A/B 测试功能

Together AI 在平台上推出端点级 LLM A/B 测试功能，让团队用真实用户流量比较候选模型与现网模型，而非只看 benchmark 或影子流量。实验挂在端点上，须有一个 control 和一至多个 variant，variant 部署权重须为 0，百分比为固定流量份额且与副本数无关。

Sebastian Raschka 从零构建 AI 文本检测器教程

Sebastian Raschka 撰写教程，从零构建一个类似 Substack 内置 AI 检测功能的 AI 文本检测器，方法参考 Pangram 模型，通过微调 DistilBERT 分类器输出 0-100 的 AI 生成概率分。

Hugging Face 发布 2026 夏季开源模型生态观察报告

Hugging Face 发布 2026 年 1 至 8 月开源模型生态观察报告，指出 Hub 公开模型仓库从 243 万增至 296 万、数据集突破 100 万，但 85.6% 的模型终身下载不足 200 次。

Strands Agents、LeRobot 与 Hugging Face Storage Buckets 实现录制、训练、部署一体化数据闭环

Hugging Face 博客与 AWS Strands Robots 团队演示了在单个 Agent 中跑通机器人数据闭环：录制演示同步到 Storage Bucket，通过 Xet 内容定义分块实现字节级去重上传，再用 stream_dataset() 直接从 Hub 流式读取训练，无需先下载整个数据集。

WhatsApp 推出端侧 Scam Alert 功能，在端到端加密下实现可验证的诈骗提醒

WhatsApp 推出可选的 Scam Alert 功能，在设备端运行机器学习模型，对非联系人消息进行诈骗概率分类，消息内容不出设备、不自动上报。模型下载经 Cloudflare Ed25519 签名与第三方 append-only 透明账本校验，遥测数据经 TEE、OHTTP 与差分隐私聚合处理；该功能已在 Beta 有限推出，并扩展了 Bug Bounty 计划。

vLLM 宣布 Day-0 支持 Qwen3.8-2.4T-A95B

vLLM 宣布 Day-0 支持 Qwen3.8-2.4T-A95B，这是 Qwen 家族首个以开放权重发布的 Qwen-Max 级模型，基于 Qwen 3.5 架构开箱即用。

Synopsys 谈芯片设计的物理学：从 3DIC 到热管理

Synopsys 的 Ravi Subramanian 在 DAC 2026 音频访谈中讨论了芯片设计中的物理学与 EDA 工具，重点谈及 3DIC 与热管理。他指出典型移动 SoC 约 2 到 25 亿门，而典型汽车 ECU 芯片约 70 亿门，功耗已直接影响到电动车续航。随着芯片变大，机械应力等原本的二三阶效应正变成一阶效应，签核需同时考虑机械与电学性能。

Pragmatic Engineer 深度解析自营交易公司 Optiver 的软件工程实践

Pragmatic Engineer 与 Optiver 工程团队深度对谈，解析自营交易公司的软件工程：约 950 名工程师服务内部业务，延迟优化贯穿软硬件栈，最快交易系统达亚纳秒级。文章覆盖交易行业概览、工程组织、三层技术栈、FPGA 与自研硬件、AI 工具链和招聘文化等主题。

Mistral 推出区域推理端点与优先级层，并接入第三方开源模型 GLM-5.2

Mistral 宣布三项推进 AI 主权的举措：Mistral Regional Endpoints 正式可用，客户可选择推理在欧洲或美国运行；Mistral Priority Tier 进入公开预览，为关键业务负载提供自定义速率限制和带 SLA 的可用性承诺。

Kimi.ai@Kimi_MoonshotAI 评分3737

Kimi K3 现已在 @databricks 上线！

NVIDIA 发布 Magpie Multilingual TTS 开放权重模型，支持 12 种语言

NVIDIA 发布 Magpie Multilingual TTS 开放权重模型（364M 参数），支持 12 种语言，新增现代标准阿拉伯语、韩语和巴西葡萄牙语，可在自有基础设施部署并微调。

vLLM 宣布 Day-0 支持 NVIDIA Nemotron 3.5 Lightning

NVIDIA 与 vLLM 团队宣布 Day-0 支持 Nemotron 3.5 Lightning，这是一个面向常驻智能体的开源混合 MoE 模型，总参数 30B、每 token 激活 3B，上下文最长 1M token，从 Nemotron 3 Ultra 蒸馏而来。

Meta 发布开源多模态模型 Muse Glimmer-30B，面向本地智能体场景

Meta 发布 30B 参数多模态开源模型 Muse Glimmer，由 Muse 蒸馏而来，采用 Apache 2.0 许可，主打本地智能体用途如编码、文档分析和个人助理。