vLLM 原生支持 Google DeepMind 26B 扩散语言模型 DiffusionGemma

Google DeepMind 与 vLLM 团队合作，将 26B 参数、基于 Gemma4 的离散扩散语言模型 DiffusionGemma 接入 vLLM，这是 vLLM 首个原生支持的 dLLM。

vLLM 社区发布 RL 后训练框架 vime，基于 slime 训练栈并接入 vLLM 推理

vLLM 社区发布开源 RL 后训练框架 vime（Apache 2.0），基于 slime 的训练栈和数据生成设计，将 Megatron 训练与 vLLM 推理接入同一条解耦管线。

vLLM Semantic Router v0.3 Themis 发布：从信号到有状态的生产级路由

vLLM Semantic Router 发布 v0.3 版本 Themis，推出规范化 v0.3 配置契约、投影机制和首个生产可用的会话感知智能体路由（SAAR），并强化协议兼容、仪表盘运维控制台与 CLI。

NVIDIA Nemotron 3 Ultra 在 vLLM 获 Day-0 支持

NVIDIA 宣布 Nemotron 3 Ultra 在 vLLM 上获得 Day-0 支持。该开源模型采用混合 Transformer-Mamba 潜在 MoE 架构，总参数 550B、激活 55B，上下文最长 1M tokens，支持 NVFP4 与 BF16 精度，面向长时程自主智能体工作流。

vLLM 与 DeepLearning.AI 推出免费课程《Fast & Efficient LLM Inference with vLLM》

vLLM 联合 Red Hat 和 Andrew Ng 的 DeepLearning.AI 推出课程《Fast & Efficient LLM Inference with vLLM》，现已免费上线，时长约 1.5 小时，含 9 节视频和 3 个 JupyterLab 动手实验。

vLLM-Omni 集成 Intel AutoRound 量化：W4A16 加速多模态推理

Intel 的 AutoRound 训练后量化算法已完整集成进 vLLM-Omni，支持 W4A16 量化并实现"一次量化、直接部署"流程。Qwen3-Omni-30B-A3B 的 checkpoint 从 66 GB 降至 25 GB，体积减少最多 62%，其 W4A16 版本在 OmniBench 上得分略优于 BF16 参考，文生图质量漂移仅约 1.3%。

vLLM Semantic Router 推出 SAAR：面向长时程 LLM 智能体的会话感知路由

vLLM Semantic Router 新增会话感知智能体路由（SAAR），在语义路由之上加入路由器会话记忆、工具循环硬锁、安全重置边界、前缀缓存感知的切换定价与可回放轨迹。在 21,600 个确定性轮次中，SAAR 将模型切换减少 79.29%，消除 3,836 次不安全切换，物理模型成本估算降低 78.71%；在 2,896 个 AMD ROCm 实时请求中保持会话连续性，未观察到违规。

Together AI 解析 MiniMax M3 高效推理：1M 上下文与多模态的工程优化

Together AI 详细解析其为 MiniMax M3 做的生产级推理优化，M3 支持 1M token 上下文窗口、原生多模态和 MiniMax Sparse Attention（MSA）架构，MSA 使 prefill 提速超过 9x、decode 提速超过 15x。

Together AI 如何打造全球最快的语音转文字技术栈

Together AI 通过 TensorRT 多 profile 编译、GPU 端条件分支和减少 CPU 拷贝，打造出全球最快的语音转文字技术栈。

Mistral 在 AI Now Summit 2026 发布工业工程 AI 栈并升级 Vibe 智能体

Mistral 在 AI Now Summit 2026 上发布面向工业工程的整合 AI 栈，与 Airbus、BMW 和 ASML 合作优化设计、仿真与生产，并收购 Emmi 补充科学能力。Vibe 智能体升级为统一智能体，可处理收件箱与日历、深度研究、编码到合并 PR 等长程多步任务；Les Ulis 新的 10 MW 推理数据中心计划于 Q3 2026 启用，以增强算力控制与安全。

Mistral AI 收购 Physics AI 公司 Emmi AI 加码工业 AI

Mistral AI 宣布达成最终协议，收购奥地利 Physics AI 公司 Emmi AI，以强化面向工业企业的 AI 转型能力。Emmi AI 团队超过 30 名研究人员和工程师，5 月加入 Mistral 的 Science 与 Applied AI 团队；其大工程模型可用于实时仿真、数字孪生等场景，双方将共同构建面向工程师的 AI 智能体。

Mistral 在 Studio 发布 Connectors，支持内置与自定义 MCP 连接器

Mistral AI 在 Studio 发布 Connectors 公测，内置连接器和自定义 MCP 均可通过 API/SDK 用于所有模型和 Agent 调用。新功能包括直接工具调用、requires_confirmation 人工审批流和连接器的程序化管理；连接器 centrally 注册后可在 LeChat 和 AI Studio 间复用，并支持与 CRM、知识库等企业系统集成。

Together AI 发布编码智能体推理基准：Kimi K2.5 上吞吐超 TensorRT-LLM 31%

Together AI 发布面向编码智能体的高并发推理基准，用 4×NVIDIA B200 在 Kimi K2.5 上对比 Together Inference Engine、TensorRT-LLM 与 SGLang。

Together AI 与 Pearl Research Labs 合作推出 Gemma-4-31B-it-pearl 推理端点，降价超 25%

Together AI 与 Pearl Research Labs 达成独家合作，推出首个由 Pearl Network 驱动的推理端点 Gemma-4-31B-it-pearl，价格折扣超过 25%，由加密代币 ¶PRL 的未来排放价值抵消。

Together AI 解析 DeepSeek-V4 服务化：百万 token 上下文为何是推理系统工程问题

Together AI 发文解析 DeepSeek-V4 的服务化挑战，认为其核心变化是在 token 轴压缩 KV cache 的混合注意力设计（CSA、HCA、SWA），使模型支持 1M token 上下文窗口。

Nous Research 开源 agent-governance-toolkit 智能体治理工具包

NousResearch 在 GitHub 发布 agent-governance-toolkit 开源仓库，面向自主 AI 智能体提供策略执行、零信任身份、执行沙箱和可靠性工程能力。仓库说明覆盖 10/10 OWASP Agentic Top 10。

用 Goose 与 Together 专用容器技能部署 HuggingFace 任意模型

开发者用 CLI 智能体 Goose 配合 Together 的 dedicated containers 技能，仅凭一句提示词就为 Netflix 新发布的 void-model 生成了可在 Together Dedicated Container Inference（DCI）上运行的完整容器配置，把从模型发布到实际部署的滞后压缩到近乎为零。

Google DeepMind 回顾 AlphaEvolve 一年跨领域影响：覆盖基因组学、电网、量子计算与商业应用

Google DeepMind 发布 AlphaEvolve（基于 Gemini 的编码智能体）一年来的影响汇总。

Together AI 如何用基础研究支撑大规模高效推理

Together AI 提出以研究、系统工程与硬件优化叠加的方式降低大规模推理成本，其 FlashAttention、ThunderKittens 与开源自适应推测解码系统 Aurora 可实现最高 1.25x 的 LLM 推理加速。

Together AI 复盘处置 Linux 内核漏洞 Copy Fail（CVE-2026-31431）的生产应急响应

Together AI 在生产环境中处置了 Linux 内核 crypto 子系统漏洞 Copy Fail（CVE-2026-31431），该漏洞位于 algif_aead AF_ALG 接口，允许任意非特权本地用户向系统上任意可读文件的 page cache 做精确 4 字节写入，且不改变磁盘文件、不标记脏页，可绕过传统文件完整性检查并借此提权到 root。

DeepSeek-V4 Pro 上线 Together AI，Serverless 支持 512K 上下文

Together AI 宣布 DeepSeek-V4 Pro 上线，提供 Serverless Inference（512K 上下文）与 Dedicated 部署（完整 1M 上下文、预留容量）。

Mistral AI 发布企业 AI 编排层 Workflows 公开预览版

Mistral AI 发布 Workflows 公开预览版，一个面向企业 AI 的编排层，提供持久执行、可观测性、容错和人工审批，ASML、ABANCA、CMA-CGM 等客户已在用它自动化关键业务流程。

DeepSeek@deepseek_ai精选AI 评分6666

DeepSeek 宣布即刻起整个 API 系列的输入缓存命中价格降至原价的 1/10。图中显示 DeepSeek-V4-Pro 缓存命中输入价为 $0.003625，DeepSeek-V4-Flash 为 $0.0028；DeepSeek-V4-Pro 75% 折扣促销持续至 2026 年 5 月 5 日 15:59（UTC）。

面向 AI 原生团队的多租户 GPU 集群设计指南：如何做到容量共享而不冲突

面向 AI 原生团队的多租户 GPU 集群设计需同时满足池化容量、租户隔离与自助访问三项要求，避免为每个团队单独建集群导致 GPU 夜间和周末闲置。架构上采用共享层加租户层的两层模式，共享层由集中控制面管理高性能存储与 InfiniBand/Ethernet 网络，租户层为每个团队提供专属 GPU 节点、存储 PVC 及自选编排层（Kubernetes、Slurm 等）。

OpenAI API 部署检查清单：GPT-6 模型选型与 Responses API 调优指南

OpenAI 发布 API 部署检查清单，指导开发者基于 Responses API 和 GPT-6 模型族（gpt-6-astra、gpt-6.1-sol、gpt-6-luna）配置生产工作负载。

什么是 AI Native Cloud？

Together AI 提出 AI Native Cloud 概念，指围绕 AI 全生命周期（预训练、微调、评估、大规模推理）垂直整合的云平台，而非为 Web 应用优化的传统 CPU 云。其核心特征包括从 GPU、NVLink/RDMA 高速互联到训练与推理框架的统一全栈，以及持续吸收前沿研究、快速将研究转化为生产的能力。

Sierra 推出 Linnaeus 与 Darwin 搜索模型，解决率最高提升 16 个百分点

Sierra 发布两款自研搜索模型 Linnaeus（检索）与 Darwin（重排序），称其解决率最高提升 16 个百分点。Linnaeus 直接基于完整对话检索，recall@5 提升 20%、recall@30 约 95%，每次搜索延迟最多降低约 800ms；Darwin 负责重排序，兼顾精度与成本。Sierra 智能体每天执行超 200 万次搜索，P90 延迟与搜索成本均下降超 75%。

用 LLM 优化数据库查询执行：Together AI 提出 DBPlanBench

Together AI 提出 DBPlanBench，将 Apache DataFusion 的物理执行计划暴露给 LLM，把查询优化从统计计算转为语义推理。其序列化层将计划压缩约 10 倍，LLM 通过 JSON Patch 做局部改写而非重生成整个计划。

蚂蚁 inclusionAI 开源 cuLA：线性注意力 CUDA 内核库

蚂蚁 inclusionAI 在 GitHub 开源 cuLA，提供多种线性注意力变体的 CUDA 内核，使用 CuTe DSL 与 CUTLASS C++ 编写。该仓库目前仅披露技术栈，未公布支持的模型、性能数据或开源许可等细节。

Together AI 内核团队如何用 ThunderKittens 一周追平 NVIDIA 一年工作

Together AI 内核团队在获得 NVIDIA Blackwell GPU 一周内，基于 ThunderKittens 库开发出部分最快的 FP4 和 FP8 GEMM 内核，相比 H100 上的 cuBLAS 最高提速 2 倍。

Together AI 开源基于 RL 的推测解码框架 Aurora

Together AI 开源 Aurora，一个基于 RL 的推测解码框架，可从实时推理轨迹中持续学习并异步更新 draft 模型，在 Qwen3 和 Llama3 等模型上比静态 speculator 额外提速 1.25 倍。

Google Research 推出 TurboQuant：用极致压缩重新定义 AI 效率

Google Research 发布压缩算法 TurboQuant，在零精度损失下大幅压缩模型体积，可同时用于 KV cache 压缩与向量搜索。它结合 PolarQuant 与 QJL 两种方法：前者通过随机旋转与极坐标量化消除传统量化每块数据需全精度存储常数的内存开销，后者仅用 1 bit 残差纠偏。

Together AI 推出统一实时语音智能体解决方案，同集群部署 STT、LLM 与 TTS

Together AI 推出统一方案，在同一集群内共同部署 STT、LLM 和 TTS 基础设施来构建实时语音智能体，端到端延迟低于 500 毫秒（从用户说话结束到首个音频 token）。

Together AI 首日上线 NVIDIA Nemotron 3 Super，开发者可专用推理部署

NVIDIA Nemotron 3 Super 登陆 Together AI，模型为 120B 参数（12B 激活）、Transformer 与 Mamba 混合 MoE 架构，支持 1M-token 上下文窗口，生成速度较当前领先开源模型高 50% 以上。

Together GPU Clusters 新增自动扩缩容、可观测性与自愈能力

Together AI 为 Together GPU Clusters（原 Instant Clusters）加入自动扩缩容、RBAC、全栈可观测性和自助节点修复。

Together AI 在首届 AI Native Conf 发布七项研究与产品更新

Together AI 在首届 AI Native Conf 上发布七项研究与产品成果，覆盖 Kernels、强化学习与算法推理优化三个方向。

Together AI 发布 FlashAttention-4：算法与内核协同设计适配 Blackwell 非对称硬件扩展

Together AI 等团队发布 FlashAttention-4，通过算法与内核协同设计在 Blackwell B200 上最大化 matmul 与其他资源瓶颈的重叠。

Together AI 提出 CPD 缓存感知预填充-解码分离架构，长上下文 LLM 服务吞吐提升最高 40%

Together AI 提出缓存感知的预填充-解码分离架构 CPD，在延迟 SLO 下可持续 QPS 比现有分离式设计提升 35–40%，并在存在大型冷提示时保持更紧的尾延迟。

Together AI 的 CDLM 让扩散语言模型推理最高提速 14 倍且不牺牲质量

Together AI 提出一致性扩散语言模型 CDLM，通过轨迹蒸馏、块级因果注意力与三项联合训练目标，让扩散语言模型在少步推理下保持质量，并支持精确的块级 KV 缓存。在 Dream-7B-Instruct 上，CDLM 将精炼步数减少约 4.1x–7.7x，GSM8K-CoT 延迟最高降低 11.2x，MBPP-Instruct 最高降低 14.5x，多数任务准确率变化很小。

Sierra 如何在不改变智能体行为的前提下可靠地服务 LLM

Sierra 构建了 Multi-Model Router（MMR）与拥塞感知的 provider 选择器两层基础设施，在 provider 出现限流或故障时保持智能体行为一致。