vLLM Semantic Router v0.3 Themis 发布：从信号到有状态的生产级路由
vLLM Semantic Router 发布 v0.3 版本 Themis，推出规范化 v0.3 配置契约、投影机制和首个生产可用的会话感知智能体路由（SAAR），并强化协议兼容、仪表盘运维控制台与 CLI。
推荐理由：版本把信号、投影、决策到模型选择收敛为统一契约，并引入会话感知路由，适合关注生产级流量治理的团队参考。
部署工程
全部主题把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
最新精选
第 101–114 条 · 共 114 条vLLM 官方博客（RSS）精选AI 评分6969
vLLM 官方博客（RSS）精选AI 评分6767 NVIDIA Nemotron 3 Ultra 在 vLLM 获 Day-0 支持
NVIDIA 宣布 Nemotron 3 Ultra 在 vLLM 上获得 Day-0 支持。该开源模型采用混合 Transformer-Mamba 潜在 MoE 架构，总参数 550B、激活 55B，上下文最长 1M tokens，支持 NVFP4 与 BF16 精度，面向长时程自主智能体工作流。
推荐理由：官方给出架构细节、显存配置和 vLLM 部署命令，读者可以直接照此在自有环境里跑通该模型。
Together AI 研究与产品博客（RSS）精选AI 评分6868 Together AI 解析 DeepSeek-V4 服务化：百万 token 上下文为何是推理系统工程问题
Together AI 发文解析 DeepSeek-V4 的服务化挑战，认为其核心变化是在 token 轴压缩 KV cache 的混合注意力设计（CSA、HCA、SWA），使模型支持 1M token 上下文窗口。
推荐理由：原文基于 Together 在 HGX B200 上的实际 bring-up，给出 KV cache 布局和缓存策略如何决定 DeepSeek-V4 长上下文吞吐的具体经验。
Google DeepMind：Blog（RSS）精选AI 评分6161 Google DeepMind 回顾 AlphaEvolve 一年跨领域影响：覆盖基因组学、电网、量子计算与商业应用
Google DeepMind 发布 AlphaEvolve（基于 Gemini 的编码智能体）一年来的影响汇总。
推荐理由：原文系统汇总了 AlphaEvolve 一年来在科研、基础设施与商业中的落地案例，附具体数字，可作为评估此类编码智能体实用价值的参照。
Johann Rehberger / Embrace The Red（RSS）精选AI 评分7777 研究者详解 M365 Copilot 数据外泄漏洞链（CVE-2026-24299）
Johann Rehberger 发布 DEF CON Singapore 演讲全文，披露 M365 Copilot 与消费版 Copilot 的多条漏洞链，MSRC 编号 CVE-2026-24299，问题已修复。
推荐理由：作者亲历披露全链路攻击并给出修复时间线，读者可以借此理解间接提示词注入与内存持久化的实际风险。
Together AI 研究与产品博客（RSS）精选AI 评分7474 DeepSeek-V4 Pro 上线 Together AI，Serverless 支持 512K 上下文
Together AI 宣布 DeepSeek-V4 Pro 上线，提供 Serverless Inference（512K 上下文）与 Dedicated 部署（完整 1M 上下文、预留容量）。
推荐理由：原文给出部署形态、定价与基准数字，读者可以据此评估在 512K 上下文上运行 DeepSeek-V4 Pro 的实际成本与路径。
DeepSeek@deepseek_ai精选AI 评分6666推荐理由：官方公布 API 缓存命中输入价格降至原价十分之一，并给出各型号具体单价，可据此估算构建成本变化。
Mistral AI：News（网页）精选AI 评分6262 Mistral 发布终端原生编码智能体 Mistral Vibe 2.0，搭载 Devstral 2
Mistral AI 发布 Mistral Vibe 2.0，这是其终端原生编码智能体的重大升级，由 Devstral 2 模型系列驱动。新增自定义 subagents、多选项澄清、slash 命令技能、统一 agent 模式和自动更新；产品现已在 Le Chat Pro 和 Team 套餐开放，支持按量付费或自带 API key。
推荐理由：官方宣布 Mistral Vibe 2.0 上线，列出 subagents、slash 命令技能等新能力和 Le Chat Pro/Team 套餐与 Devstral 2 定价，读者可据此评估工作流适配。
Mistral AI：News（网页）精选AI 评分6262 Mistral AI 复盘 vLLM 内存泄漏排查：从 Python 层一路追到 UCX 的 mmap 钩子
Mistral AI 团队排查 vLLM 在 P/D 分离部署（NIXL/UCX、Mistral Medium 3.1、开启图编译）下每分钟约 400 MB 的内存泄漏。
推荐理由：原文完整复盘从 Heaptrack、pmap、BPFtrace 到 GDB 的内存泄漏排查路径，方法可迁移到类似的深层依赖问题。
Answer.AI 官方研发博客（RSS）精选AI 评分6565 Answer.AI 开源 cachy：缓存 LLM 响应让 notebook 测试提速 60 倍
Answer.AI 开源 cachy 包，通过修改 httpx 的 send 方法把 LLM 响应缓存到本地文件，无需手写 mock。测试运行从 2 分钟缩短到约 2 秒，并让 CI/CD 测试和 notebook diff 更干净。
推荐理由：开源工具 cachy 通过拦截 httpx 缓存 LLM 响应，测试从 2 分钟降到约 2 秒，方法可直接迁移到自己的项目。
Thinking Machines Lab：官方博客（RSS）精选AI 评分6666 Thinking Machines Lab 解析 LLM 推理非确定性的真正成因并发布批不变 kernel
Thinking Machines Lab 的 Horace He 发文指出，LLM 推理非确定性的主因不是并发加浮点误差，而是服务器负载变化导致 batch size 变化，使非批不变的 kernel 输出随批次改变。
推荐理由：原文指出 LLM 推理不确定性的真正根源是批大小变化而非并发原子加，并给出可复现的批不变 kernel 方案。
Mistral AI：News（网页）精选AI 评分6161 Mistral AI 发布 Mistral Large 2 全生命周期环境影响分析
Mistral AI 联合 Carbone 4 和 ADEME 完成 AI 模型首个综合生命周期分析（LCA），并经 Resilio 和 Hubblo 同行评审。
推荐理由：原文给出了 Mistral Large 2 全生命周期的具体碳、水和资源消耗数字，并说明其对选型与采购的意义。
Mistral AI：News（网页）精选AI 评分6565 Mistral AI 发布 Mistral Medium 3，主打低成本与企业可部署性
Mistral AI 发布 Mistral Medium 3，定位为以约八倍更低的成本提供 SOTA 性能的新级别模型。
推荐理由：原文给出基准对比、定价和部署方式，读者可以据此评估它在企业场景里的性价比定位。
Mistral AI：News（网页）精选AI 评分6868 Mistral 发布 OCR API mistral-ocr-latest，主打复杂文档理解
Mistral 发布光学字符识别 API Mistral OCR（mistral-ocr-latest），可将图像和 PDF 提取为交错的文本与图像，定价 1000 页 / 美元，批量推理约翻倍。
推荐理由：官方给出完整基准对比、定价和多语言成绩，读者可以据此判断它在文档理解场景中的实际位置。