Together AI 发布 Dedicated Model Inference 开放权重模型推理生产平台
Together AI 推出 Dedicated Model Inference 平台，为在生产中运行开放权重、授权闭源权重和微调模型提供统一服务。
#部署/工程
#部署/工程
今日 8 条Together AI 研究与产品博客（RSS）AI 评分5555 vLLM 官方博客（RSS）AI 评分6363 DaoCloud 团队用 24 块 NVIDIA B300 和 vLLM 生产级服务 GLM-5.2-NVFP4
DaoCloud 团队在 3 台 8 卡 B300 服务器（共 24 GPU）上以 4 Prefill + 1 Decode 分离拓扑部署 GLM-5.2-NVFP4，在 mean TTFT ≤ 2.5s、mean TPOT ≤ 20ms 的 SLA 下，将 16K 输入的 mean TPOT 从约 40ms 优化到约 17ms。
vLLM 官方博客（RSS）AI 评分4242 vLLM 发布 AFD 插件：为 MoE 推理拆分 Attention 与 FFN
vLLM 推出实验性外部插件 vLLM AFD Plugin，将 MoE 模型中的 Attention 与 FFN 拆分为可独立部署和扩缩的服务，同时保留 vLLM 原有请求生命周期与 OpenAI 兼容接口。
Sierra：Blog（RSS）精选AI 评分6767 Sierra 工程师复盘内部 MCP Gateway 的构建经验
Sierra 工程师 Mihai Parparita 发布长文，复盘公司内部 MCP Gateway 的构建过程，该网关基于 Model Context Protocol 将 AI 智能体安全接入内部工具。
推荐理由：作者以第一手复盘提炼七条工程经验，覆盖权限设计、Agent 校验与身份管理，方法对自建 Agent 基础设施可直接借鉴。
vLLM 官方博客（RSS）精选AI 评分6868 vLLM 预告 Kimi K3 生产级支持：2.8T 参数、1M 上下文与 KDA 前缀缓存方案
vLLM 发布 Kimi K3 生产级支持的预览博客，正与 Moonshot AI、NVIDIA、AMD 等推进最终集成，计划在 2026 年 7 月 27 日权重发布时提供 day-0 开源服务，包括模型实现、Docker 镜像和部署方案。
推荐理由：vLLM 团队详解 KDA 混合架构带来的前缀缓存改造与内核优化，对部署混合注意力模型的工程团队有可迁移参考价值。
vLLM 官方博客（RSS）AI 评分4646 vLLM Semantic Router 如何构建 Mixture-of-Models 系统
vLLM Semantic Router 提出 Mixture-of-Models（MoM）架构，目标是在同一版本化契约下把独立模型、策略、偏好与执行路径组合成可训练、评估、导出、部署和调用的模型系统。
Microsoft：Official Blog（RSS）AI 评分3030 Microsoft 携手 AMD 扩展 Azure AI 与 HPC 基础设施，推出三款新 VM
Microsoft 将 AMD 最新 Helios AI 平台和下一代 EPYC 数据中心处理器引入 Azure，推出三款新虚拟机：用于数据处理的 HDv2、用于电子设计自动化的 HXv2，以及用于 AI 推理的 ND MI455X v7。
Together AI 研究与产品博客（RSS）AI 评分4949 Together AI 与 Y Combinator 合作推出首个 YC 专属 GPU 集群
Together AI 与 Y Combinator 宣布合作推出首个 YC 专属 GPU 集群，为 YC 投资组合中的 AI 初创公司提供推理和训练算力。初创公司可通过 Together 自助门户直接预留和管理 GPU，几分钟内就绪，支持短期冲刺并按长期费率计费，无需长期承诺。该集群目前已满负荷运行，双方计划后续扩展规模。
vLLM 官方博客（RSS）AI 评分5454 vLLM 官方解析其 CI、性能基准与发布流程如何保障生产质量
vLLM 团队介绍其如何在高合并节奏下保持发布稳定：2026 年 6 月共合并 1,918 个 commit（日均 64 个），CI 包含 37 个测试组、266 个任务，使用共享容器镜像和 pip-compile 锁定依赖，并依赖 58 个 runner 队列的异构硬件。
Together AI 研究与产品博客（RSS）AI 评分5353 Together AI 解析 99.9% 推理可用性背后的架构与 SLA 定义
Together AI 发文解释推理服务 99.9% 可用性的实际含义，自述为 Cursor、Decagon、Cartesia、Yutori 等团队提供推理。文章按层拆解故障模式（计算、网络、存储、软件），说明 99%、99.9%、99.99% 各等级分别要求抗节点故障、抗单数据中心故障和抗区域故障，强调多活双设施部署与自持基础设施的差异。
Sierra：Blog（RSS）精选AI 评分6767 Sierra 推出内部云智能体 Pinecone
Sierra 发布内部云智能体 Pinecone，让员工在浏览器、Slack、Linear 或手机上创建、组织和自动化云端 Agent 会话，底层由 app server、Agency 与 runner 三部分组成，沙箱内运行 Codex 或 Claude Code 并以 AG-UI 协议适配。
推荐理由：Sierra 自述内部云智能体的架构与落地数据，读者可以了解如何把员工经验沉淀为可复用的会话与技能。
Hugging Face：Blog（RSS）精选AI 评分6161 IBM Research：模型路由看似简单，实则是系统优化问题
IBM Research 分享在智能体系统中构建模型路由的经验，认为路由不应被当作分类问题而是系统优化问题。在 AppWorld Test Challenge 上用 CodeAct 智能体实测 417 个任务，Claude Sonnet 4.6 总成本 $79（$0.19/任务），反而低于单价更低的 GPT-4.1 的 $155（$0.37/任务），差异源于缓存命中。
推荐理由：作者基于 AppWorld 实测给出路由成本、难度与延迟被低估的三点原因，并分享了可迁移的优化思路。
vLLM 官方博客（RSS）精选AI 评分8080 vLLM 实现 TML Inkling Day-0 支持：1T 参数多模态模型最高 380 tok/s/user
vLLM 宣布 Day-0 支持 Thinking Machines Lab 的 1T 参数多模态模型 TML Inkling，提供 thinkingmachines/Inkling-NVFP4 和 BF16 两个版本。
推荐理由：官方详解了 Day-0 支持背后的 sconv 缓存、TP 分片和 MTP 处理等优化，读者可迁移到类似新架构的推理部署。
Together AI 研究与产品博客（RSS）AI 评分4141 Together GPU Clusters 新增被动健康检查、自动节点修复与 Slinky 1.0
Together 为 GPU Clusters 推出被动健康检查、自动节点修复和基于 Slinky 1.0 重建的 Slurm-on-K8s 2.0 栈。被动检查持续监控 GPU 掉总线、热降频、Xid 错误等故障，自动节点修复提供 Reboot、Reprovision、Failover、Remove 四种操作，由人工确认后执行。
vLLM 官方博客（RSS）AI 评分4242 vLLM 联手 TileRT：面向延迟敏感场景的专用 Decode 方案
vLLM 通过 V1 的公开 connector 接口接入 TileRT 作为专用 decode 引擎，随 TileRT 0.1.5 发布，prefill、调度、前缀缓存与 API 均保持原生 vLLM 不变。
vLLM 官方博客（RSS）AI 评分4444 在 AMD Instinct GPU 上用 vLLM 与 AMD Quark 训练和部署 EAGLE3 投机解码
vLLM 与 AMD Quark 团队展示了在 AMD Instinct MI355X GPU 上训练和部署 EAGLE3 投机解码的完整流程，覆盖 Kimi-K2.5 与 MiniMax-M2.5，并用 InferenceX 做基准测试。
蚂蚁 inclusionAI：GitHub 新仓库AI 评分2525 蚂蚁 inclusionAI 开源 distill-fs：面向原始磁盘镜像与 Nydus RAFS 的只读 FUSE 文件系统
蚂蚁 inclusionAI 在 GitHub 发布新仓库 distill-fs，这是一个只读 FUSE 文件系统，可直接挂载原始磁盘镜像和 Nydus RAFS 镜像。该工具面向镜像内容的只读访问场景，目前仓库信息仅说明其支持的两类镜像格式。
蚂蚁 inclusionAI：GitHub 新仓库AI 评分2222 蚂蚁 inclusionAI 的 vLLM：面向 LLM 的高吞吐、低内存推理与服务引擎
蚂蚁 inclusionAI 在 GitHub 新建仓库 inclusionAI/vllm，定位为面向 LLM 的高吞吐、内存高效推理与服务引擎。该仓库目前仅给出这一句项目描述，未披露具体模型支持、性能数据或版本信息。
蚂蚁 inclusionAI：GitHub 新仓库AI 评分1919 蚂蚁 inclusionAI 发布 sglang 仓库：面向 LLM 与多模态模型的高性能服务框架
蚂蚁 inclusionAI 在 GitHub 新建 sglang 仓库，定位为面向大语言模型和多模态模型的高性能服务框架。该仓库目前仅给出这一定位描述，未披露具体版本号、性能数据或开源许可等细节。
Hugging Face：Blog（RSS）精选AI 评分6868 Hugging Face 发布 Profiling in PyTorch 系列第三篇：用 profiler 对比各注意力实现
Hugging Face 发布 Profiling in PyTorch 系列第三篇，用 profiler trace 对比手写注意力、in-place 掩码、SDPA math/efficient/flash/cuDNN 各后端的 kernel 表现。
推荐理由：原文用 profiler trace 逐一对比 PyTorch 各注意力实现的 kernel 差异，读者可以学到一套先猜测再看 trace 的可迁移分析方法。
vLLM 官方博客（RSS）AI 评分4444 vime 支持 ROCm：在 AMD Instinct GPU 上端到端运行 RL 后训练
vLLM 生态的强化学习框架 vime 现已支持 ROCm，可在 AMD Instinct MI355X GPU 上原生运行大规模 RL 后训练。vime 采用 Megatron 训练、vLLM 推理与数据缓冲三段解耦架构，整条流水线已在 ROCm 上完成端到端验证，并同步上游 ROCm 相关修复、提供预构建容器。
Hugging Face：Blog（RSS）精选AI 评分6363 Hugging Face 发布 native-speed vLLM transformers 后端
Hugging Face 宣布 vLLM 的 transformers 建模后端现在达到甚至超过 vLLM 原生实现的吞吐速度，模型作者无需移植代码即可用 --model-impl transformers 获得 vLLM 级推理性能。
推荐理由：官方给出了与 vLLM 原生实现对比的具体吞吐数字和使用方法，读者可以据此判断是否切换到自己已有的 transformers 模型工作流。
Hugging Face：Blog（RSS）AI 评分4848 Hugging Face 与 Amazon SageMaker Studio 打通一键直达集成
Hugging Face 与 Amazon SageMaker AI 推出深度链接集成，开发者可在支持的模型页点击 Customize on SageMaker AI 或 Deploy on SageMaker AI，一键进入 SageMaker Studio 并预加载所选模型。
Hugging Face：Blog（RSS）精选AI 评分6363 Hugging Face 模型上线 Microsoft Foundry Managed Compute，数千个开源权重模型可一键部署
Microsoft Build 2026 上宣布 Foundry Managed Compute 以及 Hugging Face 模型精选目录，数千个开源权重模型每周更新，可一键部署到 Foundry Managed Compute，支持 NVIDIA A100、H100 和 AMD MI300X。
推荐理由：原文完整说明了精选模型目录、策展管线和运行时选择，读者可以据此评估在私有网络内部署开源模型的路径。
BAIR：Berkeley AI Research BlogAI 评分3434 智能免费之后：面向智能体、由智能体运行、由智能体构建的数据系统
UC Berkeley 的 Aditya G. Parameswaran 等人提出，推理成本正快速趋近于零——GPT-4 级能力从 2023 年初的约 $30/百万 token 降至如今不到 $1，部分厂商已低于 $0.10，基准测试中推理价格年降幅在 9x 到 900x 之间，中位数约 50x。
Hugging Face：Blog（RSS）精选AI 评分6767 SkyPilot 与 Hugging Face 联合推出 store: hf，Hub 存储成为一等后端，多云读取零出口费
SkyPilot 与 Hugging Face 联合推出 store: hf，把 Hugging Face Storage 作为 SkyPilot 的一等存储后端，用一个 hf:// URL 和现有 HF_TOKEN 即可把 Bucket 或 Hub 仓库挂载进任意云上的任务。
推荐理由：两家联合发布 store: hf，给出了零出口费读取、MOUNT/COPY 用法和实测写入速度，读者可以据此评估多云 GPU 训练的存储方案。
vLLM 官方博客（RSS）AI 评分6060 腾讯混元 HPC-Ops Attention 与 MoE 后端合入 vLLM 主分支
腾讯混元 AI Infra 团队的 HPC-Ops 算子库中的 Attention 和 MoE 内核已合入 vLLM 主分支，成为一等后端，针对 NVIDIA Hopper 架构优化，在 H20 上效果最好。
Hugging Face：Blog（RSS）AI 评分4848 Hugging Face Kernels 项目重大更新：新增 kernel 仓库类型与代码签名
Hugging Face 为 Kernels 项目引入 Hub 上的 "kernel" 新仓库类型，并默认只加载受信任发布者的内核，非信任来源需显式传入 trust_remote_code=True。
Hugging Face：Blog（RSS）AI 评分5959 Hugging Face 与 Cerebras 用 Gemma 4 打造实时语音 AI 演示
Hugging Face 与 Cerebras 展示了一套开源、模块化的实时语音到语音流水线：Nvidia Parakeet 做语音识别，Google DeepMind 的 Gemma 4 31B 在 Cerebras 上推理，阿里 Qwen3TTS 合成语音回复。
vLLM 官方博客（RSS）AI 评分4848 vLLM-Omni 如何服务多阶段 Qwen3-Omni：经验与教训
vLLM-Omni 将 Qwen3-Omni 拆成 Thinker、Talker、Code2Wav 三阶段流水线，并通过 OpenAI 兼容的 /v1/chat/completions 提供文本与语音生成。
Together AI 研究与产品博客（RSS）AI 评分5353 Together AI 在 ICML 2026 发布覆盖全栈的 9 篇论文
Together AI 宣布其 9 篇论文入选 ICML 2026（7 月 6 日至 11 日，首尔，展位 B714），覆盖从智能体到 GPU kernel 的全栈研究。
Nous Research：GitHub 新仓库AI 评分4545 Nous Research 发布 speculators：面向 vLLM 的投机解码统一库
Nous Research 在 GitHub 开源 speculators，一个用于构建、评估和存储 LLM 推理投机解码算法的统一库，面向 vLLM。该库将投机解码算法的开发、评测与存储整合到同一套工具中。
vLLM 官方博客（RSS）AI 评分5858 vLLM Semantic Router 推出 Micro-Agent 服务层协作，多基准超过前沿单模型基线
vLLM Semantic Router 团队推出 Micro-Agent 能力，把单次模型 API 调用变成服务层内有界的多模型协作，用户仍只调用一个模型名 vllm-sr/auto。
Google ResearchAI 评分5858 Google 用冻结 Multi-Token Prediction 加速 Pixel 上的 Gemini Nano 模型
Google 宣布将 Multi-Token Prediction（MTP）改造性地部署到已冻结的 Gemini Nano v3 模型上，并已向 Pixel 9 和 10 系列推送。
Google ResearchAI 评分4747 Google 用线性弹性缓存优化云成本，Spanner 内存占用降 15.5%
Google Research 提出线性弹性缓存，将页面淘汰建模为滑雪租赁问题，用轻量机器学习动态调整缓存大小以最小化总拥有成本。在 Spanner 生产环境测试数月后，内存占用降低 15.5%，缓存未命中仅增加 5.5%，TCO 降低约 5%，实际 I/O 成本影响仅 0.5%。该方案用可转为几行 C++ 代码的浅层决策树预测页面 TTL，并在缓存写满时回退到 LRU 淘汰。
MIT News（RSS）AI 评分4949 MIT 与微软提出 Murakkab：自动优化 AI 智能体工作流的能效与成本
MIT 与微软 Azure 研究人员提出智能体工作流优化系统 Murakkab，开发者只需用自然语言描述意图，系统即自动选择模型与工具、并行调度并动态分配云端硬件资源。
vLLM 官方博客（RSS）AI 评分4949 vLLM-Omni 中的 TTS 推理工程实践
vLLM-Omni 已支持 Qwen3-TTS、VoxCPM2、Fish Speech S2 Pro 和 Higgs Audio V3 等 TTS 系统，并针对各模型瓶颈采用不同优化策略。
Together AI 研究与产品博客（RSS）AI 评分5050 Together AI 发布 ParallelKernelBench：前沿模型尚难写出快速多GPU kernel
Together AI 发布多GPU kernel生成基准 ParallelKernelBench（PKB），含87道源自 Megatron-LM、DeepSpeed、TensorRT-LLM 等真实代码库的问题，任务是将 PyTorch + NCCL 参考实现替换为直接通过 NVLink 通信的 CUDA kernel。
vLLM 官方博客（RSS）AI 评分6060 vLLM Semantic Router 推出 Fusion API，将多模型面板编排为路由原语
vLLM Semantic Router 团队发布 Fusion API，让一条路由可以运行多个面板模型、由 judge 模型分析共识与分歧并合成单个回答。
vLLM 官方博客（RSS）精选AI 评分7575 vLLM 发布 MiniMax M3 day-0 支持，覆盖 1M 上下文与多模态推理服务
vLLM 宣布对 MiniMax M3 家族的 day-0 支持，涵盖 MiniMaxAI/MiniMax-M3 与 MiniMax-M3-MXFP8 两个检查点，支持 1M token 上下文和图像、视频多模态输入。
推荐理由：vLLM 团队自己拆解了 day-0 支持背后的 MSA 内核、缓存和部署细节，读者可以按需套用其部署配方。