vLLM 分离式推理（Disaggregated Serving）实战指南
vLLM 官方博客发布分离式推理（disaggregated serving）实战指南，讲解如何将 prefill 与 decode 拆分为独立实例、把 tokenization 和解析移到无 GPU 的 /render 与 /derender 前端。
#推理
#推理
今日 5 条vLLM 官方博客（RSS）AI 评分6464 OpenAI：官网动态（RSS · 排除企业/客户案例）AI 评分5454 OpenAI 提出面向前沿 AI 训练的安全案例框架
OpenAI 发布文章，主张在继续任何前沿强化学习训练运行前，应要求结构化的安全文档，并朝其他安全关键行业使用的 safety cases 方向努力。
Sakana AI@SakanaAILabsAI 评分3939
- Sakana AI@SakanaAILabsAI 评分5757引用Sakana AI@SakanaAILabs
Sakana AI welcomes Jürgen Schmidhuber as Chief Scientific Advisor. https://sakana.ai/schmidhuber/ Sakana AI is incredibly proud to announce that Jürgen Schmidhuber, universally recognized as the father of modern AI, is officially joining Sakana AI as Chief Scientific Advisor. For nearly four decades, Jürgen has explored how machines can learn to learn. His foundational work in the 1990s drove core advancements in deep learning and established early frameworks for world models. Crucially, his pioneering innovations in meta-learning opened the very path toward recursive self-improvement. These ideas have already shaped our own research, from the Darwin Gödel Machine to The AI Scientist. Now Jürgen will help guide our newly formed RSI Lab, whose objective is to trigger a compounding cycle of scientific discovery aimed at improving machine intelligence. We are assembling a critical mass of world-class experts in Tokyo to make this a reality. Welcome, @SchmidhuberAI !
Hugging Face：Blog（RSS）AI 评分4141 Liquid AI 发布 LFM2.5-VL-DSpark 草稿模型，为 LFM2.5-VL-3B 加速视觉语言推理
Liquid AI 发布实验性 DSpark 草稿模型 LFM2.5-VL-DSpark，为视觉语言模型 LFM2.5-VL-3B 加入投机解码路径，设备端解码最高提速 3.13x、H100 上 2.66x，端到端最高提升 2.62x 和 2.27x。
NVIDIA Technical Blog（开发者技术博客 · RSS）AI 评分3939 NVIDIA 推出 NV-Reason-CT Open 3D CT VLM，面向放射科医生链式推理
NVIDIA 发布 NV-Reason-CT Open，这是一个面向 3D CT 体积影像的开放视觉语言模型，支持放射科医生的链式推理（Chain-of-Thought）。现有前沿通用模型在体积影像上表现不佳，多数开放医疗 AI 模型也缺乏相应能力，而 3D CT 是临床信息最丰富、数据最密集的模态之一，此前一直未被现代 VLM 充分覆盖。
Apple Machine Learning Research（RSS）AI 评分4545 Apple 提出 probe guidance：用扩散模型冻结内部状态引导流匹配，刷新扩散语言模型无条件生成 SOTA
Apple 研究团队提出 probe guidance，利用已有扩散模型冻结的内部状态构建引导信号，无需在推理时增加额外前向计算，即可让弱模型与强模型保持相近动态。该方法在连续扩散语言模型的无条件生成上刷新 SOTA，应用于 1.7B 扩散语言模型时持续提升多项选择题基准表现。研究还发现，传统 autoguidence 中的弱模型必须来自训练的低熵区域。
vLLM 官方博客（RSS）AI 评分3535 vLLM 在 GB300 NVL72 上 PD 部署 Qwen3.8-2.4T 的性能结果
vLLM 公布 Qwen3.8-2.4T 在 GB300 NVL72 集群上的 PD 分离部署结果：8K/1K 负载下高吞吐场景达每 GPU 5000 total token 吞吐，低延迟场景每用户 180 生成 token，并给出完整 pareto 前沿。
Epoch AI@EpochAIResearchAI 评分4949
SenseTime@SenseTime_AIAI 评分5353商汤发布 SenseNova U1.5 技术报告，这是一个开源的 8B-MoT 原生统一模型，通过共享注意力连接理解与生成。
NVIDIA Technical Blog（开发者技术博客 · RSS）AI 评分3030 TensorRT Edge-LLM 在 Jetson AGX Thor 上以 6.4 倍速度完成 MLPerf Edge Agentic Benchmark
NVIDIA 的 TensorRT Edge-LLM 在 Jetson AGX Thor 上完成 MLPerf Edge Agentic Benchmark，速度提升 6.4 倍。该方案面向从云端数据中心迁移至车辆、机器人等边缘设备的 AI 智能体，针对其多步骤工具调用、结果评估与长对话推理带来的边缘推理新需求，实现快速 token 生成。
NVIDIA Blog（RSS）AI 评分5454 NVIDIA Vera Rubin NVL72 首次参加 MLPerf Inference v6.1，吞吐最高达 GB300 NVL72 的 3.7x
NVIDIA Vera Rubin NVL72 首次提交 MLPerf Inference v6.1 预览结果，在 Qwen3-VL 上吞吐最高达 GB300 NVL72 的 3.7x，在 DeepSeek-R1 上达 2.5x，分别使用 vLLM 搭配 NVIDIA Dynamo 和 TensorRT-LLM。
Apple Machine Learning Research（RSS）AI 评分4040 DACA-GRPO：面向扩散语言模型强化学习的去噪感知信用分配方法
Apple 研究者提出 DACA-GRPO，一种可插拔的 GRPO 训练增强方法，用于扩散语言模型强化学习。它通过 Denoising Progress Scores 提取逐 token 重要性权重（无额外前向开销），并用 Stratified Masking Likelihood 降低 mean-field 似然偏差。
Google ResearchAI 评分2929 Google Research 提出 Retrieve-for-Train：用 RL 编译扩散模型绕过推理瓶颈，加速复杂 AI 搜索
Google Research 提出 Retrieve-for-Train 框架，通过离线强化学习发现奖励对齐的查询扇出并编译为监督信号，再蒸馏进一个 53.9M 参数的扩散检索器，实现推理时单次非自回归的查询扇出。该方法在 Gemma3-4B 和 Qwen3-4B 上微调扇出语言模型，用集合级属性奖励评估整组结果，无需人工标注，也无需推理时的 CoT 思考 token。
vLLM 官方博客（RSS）AI 评分4545 如何用 GB300 NVL72 为 Kimi-K3 训练最快的 DSpark 推测解码器
vLLM 团队借助 Speculators 训练库，为 2.8T 参数的 Kimi K3 训练出 DSpark 推测解码器，在数学推理上把单流交互速度从约 110 提升到约 435 tok/s/user，并发负载下同等交互性时输出吞吐最高提升约 3.5 倍。
MiniMax (official)@MiniMax_AIAI 评分3636引用SGLang@sgl_projectSGLang-Diffusion with VDN-H3 now generates 14.4s of 768p video in just 9.0s 🚀 On 8× B200, 8 step denoising takes just 6.9s, reaching over 2× real time. The 9.0s figure covers the full generation request after warmup. No measured quality regression versus dense 50-step H3 across 103 test prompts. 🧵
蚂蚁 inclusionAI：HuggingFace 新模型AI 评分4848 蚂蚁 inclusionAI 发布 Qwen3.8-27B-singprobe 流式安全探针
蚂蚁 inclusionAI 发布 Qwen3.8-27B-singprobe，这是基于 Qwen/Qwen3.8-27B 的流式护栏探针，复用基座模型隐藏状态，逐 token 对查询意图、回复不安全和幻觉风险打分，解码开销低于 0.5%。
蚂蚁 inclusionAI：HuggingFace 新模型AI 评分4747 蚂蚁 inclusionAI 发布 Qwen3.6-27B-singprobe 流式安全探针
蚂蚁 inclusionAI 开源 Qwen3.6-27B-singprobe，一个基于 Qwen/Qwen3.6-27B 的流式安全探针，复用基座模型隐藏状态，在每个 token 上对查询意图、回复不安全和幻觉风险打分，解码开销低于 0.5%。
蚂蚁 inclusionAI：HuggingFace 新模型AI 评分4949 蚂蚁 inclusionAI 发布 Qwen3.5-35B-A3B-singprobe 流式安全探针
蚂蚁 inclusionAI 在 HuggingFace 发布 Qwen3.5-35B-A3B-singprobe，一个基于 Qwen/Qwen3.5-35B-A3B 的流式安全探针，仅 4.2M 参数，复用基座模型隐藏状态逐 token 输出 8 类意图、不安全与幻觉风险评分，解码开销低于 0.5%。
vLLM 官方博客（RSS）AI 评分5050 vLLM 中 Kimi K3 性能优化：吞吐量提升至 2.8 倍
vLLM 通过自适应投机 token 预算、KDA 前缀检查点、零拷贝混合 KDA 批次和延迟 MXFP4 收尾等优化，将 Kimi K3 服务性能从 v0.27.1 提升至 main：延迟降低 56%–60%，吞吐量提升 2.2–2.8 倍，TTFT 降低 72%–85%（并发 1、4、16，8K/1K 负载，TP8）。
Mira Murati@miramuratiAI 评分4242引用Thinking Machines@thinkymachinesOur own @johnschulman2 talks with Dwarkesh about where human judgment still matters as models improve and self-improve: teaching them to handle messy real-world tasks, applying taste to what works in the long run, and, above all, specifying what we actually want.
Thinking Machines@thinkymachinesAI 评分4242引用Dwarkesh Patel@dwarkesh_spNew episode with @johnschulman2, @oneill_c and @BerenMillidge. I got together with some of the most insightful AI researchers I know who are at the openish companies, because I wanted to hear the details of what's actually happening at the frontier and what comes next. 0:00:00 – Steelmanning the case against RSI 0:18:39 – What’s driving the Chinese labs’ progress 0:28:06 – How will automated AI researchers be trained 0:33:51 – Will long-horizon RL elicit AGI? 0:45:24 – The sim-to-real gap 1:00:33 – How much progress is explained by data? 1:18:03 – Why is RL working so well? 1:24:54 – Move 37 and entropy collapse 1:28:31 – Rapid-fire timelines
NVIDIA Technical Blog（开发者技术博客 · RSS）AI 评分2929 全栈 NIM 优化如何在 Nemotron 3 Ultra 上支撑 2.5 倍并发用户
NVIDIA 通过全栈 NIM 优化，在 Nemotron 3 Ultra 上实现 2.5 倍并发用户量。该优化针对生产环境部署大语言模型时，在现有 GPU 基础设施上提升并发服务能力并保持交互响应速度的需求，对提示词长、上下文跨步骤复用的智能体 AI 工作负载尤为关键。
SiliconFlow@SiliconFlowAI精选AI 评分7070推荐理由：上线方直接给出参数结构、上下文窗口、KV cache 对比和许可证信息，读者可据此评估实际部署选型。
vLLM 官方博客（RSS）AI 评分4040 追踪瓶颈：在 AMD Instinct MI355X 上优化 MiniMax M3
MiniMax M3 在 AMD Instinct MI355X 上的 vLLM 服务性能大幅提升：SemiAnalysis InferenceX 基准显示，并发 32 时 MXFP8 标准服务从 109.1 升至 342.4 output tokens/s/GPU（3.14×），中位 TTFT 从 1.46 秒降至 0.67 秒。
OpenAI：官网动态（RSS · 排除企业/客户案例）精选AI 评分6161 OpenAI 发布 GPT-6 Astra：面向工作场景的新一代模型
OpenAI 发布 GPT-6 Astra，定位为面向商务的最强模型。该模型具备高级推理和计算机使用能力，写作与设计判断也更强。
推荐理由：官方发布了面向商务场景的新模型，点出推理、计算机使用和写作设计判断三项能力方向。
Sierra：Blog（RSS）AI 评分5353 Sierra 开源 hyper-𝜏-bench 基准，评测模型构建智能体的能力
Sierra 发布并开源 hyper-𝜏-bench（论文名 𝜏^𝜏-bench），一个衡量模型自主构建客服智能体能力的长程评测。最佳配置 Claude Opus 5（max reasoning）在 Claude Code 中独立通过 23.9% 的保留评测任务，与深度上下文的工程师协作时达 82.2%。
NVIDIA Technical Blog（开发者技术博客 · RSS）AI 评分3434 NVIDIA Jetson 如何部署与优化前沿推理模型
NVIDIA 发布技术指南，介绍如何在 Jetson 边缘设备上部署和优化具备多步推理能力的模型。此前这类模型体积过大，无法在边缘硬件本地运行，开发者只能将推理请求路由至数据中心，带来网络依赖、成本上升与数据外泄风险。该指南称这一限制正在被打破。
NVIDIA Technical Blog（开发者技术博客 · RSS）AI 评分3434 利用投机解码协同设计 AI 模型以加速 LLM 推理
NVIDIA 技术博客发布 AI 模型协同设计系列第三篇，探讨如何用投机解码在保持精度的同时加速 LLM 推理。文章给出五条指南，用于在帕累托前沿上选择草稿长度与草稿机制。
Z.ai@Zai_org精选AI 评分7575智谱（Z.ai）发布 GLM-5.3-Flash，为原生多模态模型，拥有 1M-token 上下文窗口，参数规模 320B-A18B，以 MIT 许可开源权重。
推荐理由：官方公布了定价定位、1M 上下文、MIT 许可和国产芯片适配等关键细节，可帮助读者评估这款轻量模型的实际可用性。
Hugging Face：Blog（RSS）精选AI 评分6666 IBM 发布 Granite 4.2 推理模型系列并详解构建过程
IBM Granite 团队发布 Granite 4.2 推理模型系列，包含 3B、8B、30B 三个 dense 版本，基于 Granite-4.1 基座（约 15T tokens 预训练，上下文扩展到 512K），经 SFT 和多阶段 GRPO 强化学习训练，8B 和 30B 额外经历 SWE、终端、搜索三类真实环境 agentic RL。
推荐理由：官方完整披露了从预训练、SFT 到多阶段 GRPO 强化学习的训练细节，读者可以据此了解推理模型的完整构建流程。
Hugging Face：Blog（RSS）精选AI 评分6666 Liquid AI 发布 LFM2.5-DSpark 草稿模型，推理最高提速 3.2 倍
Liquid AI 为 LFM2.5-1.2B-Instruct、LFM2.5-2.6B 和 LFM2.5-8B-A1B 发布 DSpark 草稿模型检查点，采用推测解码，GPU 上吞吐最高提升 3.18 倍，端侧最高 2.87 倍，输出质量不变。
推荐理由：原文给出各模型在 GPU 和端侧的实测加速数据与 llama.cpp、SGLang 接入命令，读者可直接评估是否用于部署。
jietang@jietangAI 评分5353
Karina@karinanguyenAI 评分3737Grok 4.6 在 DiligenceBench 金融测试中以约 52–53% 位列第 2，与 Claude Opus 5 基本持平，Sonnet 5 以 46.2% 落后。
vLLM 官方博客（RSS）AI 评分4343 vLLM 推出 DSpark 自适应验证：按置信度调度投机解码预算
vLLM 在 PR #47808 中引入 DSpark 置信度调度验证（enable_adaptive_verification），让引擎逐步决定验证多少 draft token，而非按部署固定 num_speculative_tokens。
Microsoft Research 博客（RSS）AI 评分3737 MindTopo 揭示多模态大模型的空间推理能力短板
微软研究院推出 MindTopo 基准，从连续性、分离、顺序、包围、绳结五类拓扑关系评估多模态大模型的推理与规划能力。测试显示，模型在静态图像识别上表现明显优于交互式规划任务，失败多发生在规划阶段而非感知阶段，且整体远低于人类水平。图像与视频生成仅在单帧关系可见时偶有帮助，跨多步动作时难以维持拓扑约束。
Google Research精选AI 评分6868 Google Research 提出知识画像框架：召回而非编码是 LLM 事实性瓶颈
Google Research 发布知识画像框架及 WikiProfile 基准（2,150 条 Wikipedia 事实，每条配 10 个任务），评估 13 个 LLM 的编码、召回与识别。
推荐理由：原文用知识画像框架区分编码与召回失败，并给出思维可回收约40-65%事实的关键数据，帮助读者理解事实性瓶颈所在。
vLLM 官方博客（RSS）AI 评分4242 vLLM 在 Qwen3.5 上实现 25K 总 TPS/GPU
vLLM 社区完成 Qwen3.5 混合注意力架构的分离式服务优化，在 GB200 NVL72 系统上实现超过 25K 总 TPS/GPU。
Meta Engineering Blog（RSS）AI 评分4747 Meta 广告排序的多阶段序列模型：从用户序列到 LLM 式缩放定律
Meta 为广告排序提出多阶段序列模型，将离线用户建模与在线排序解耦，并引入稠密 tokenization 与 target-aware attention，使序列模型呈现可预测的 LLM 式缩放定律。该平台已带来 Instagram 转化率 6%、Facebook 转化率 3%、Facebook 广告点击 3.5% 的累计提升，并成为 Meta 生成式广告推荐模型 GEM 的核心组件。
BAIR：Berkeley AI Research Blog精选AI 评分6262 从 CUDA 到 MLX：K-Search 如何把数十年内核经验带到 Apple Silicon
IBM Research 基于 UC Berkeley Sky Lab 的 K-Search 框架扩展出 MLX 后端，并设计结构化 CUDA-to-MLX 翻译层，让进化式内核搜索把已有 CUDA 内核当作知识库适配到 Apple Silicon。
推荐理由：K-Search 把 CUDA 内核优化经验迁移到 Apple Silicon，读者可了解跨平台内核搜索的方法与实测数据。