Liquid AI 发布 LFM2.5-DSpark 草稿模型，推理最高提速 3.2 倍
Liquid AI 为 LFM2.5-1.2B-Instruct、LFM2.5-2.6B 和 LFM2.5-8B-A1B 发布 DSpark 草稿模型检查点，采用推测解码，GPU 上吞吐最高提升 3.18 倍，端侧最高 2.87 倍，输出质量不变。
推荐理由：原文给出各模型在 GPU 和端侧的实测加速数据与 llama.cpp、SGLang 接入命令，读者可直接评估是否用于部署。
部署工程
全部主题把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
最新精选
第 81–100 条 · 共 114 条Hugging Face：Blog（RSS）精选AI 评分6666
Hugging Face：Blog（RSS）精选AI 评分6969 Hugging Face 发布 2026 夏季开源模型生态观察报告
Hugging Face 发布 2026 年 1 至 8 月开源模型生态观察报告，指出 Hub 公开模型仓库从 243 万增至 296 万、数据集突破 100 万，但 85.6% 的模型终身下载不足 200 次。
推荐理由：报告用 Hub 下载、许可证与衍生模型数据区分关注度与真实采用，读者可据此校准自己对开源模型生态的判断。
vLLM 官方博客（RSS）精选AI 评分7070 vLLM 宣布 Day-0 支持 Qwen3.8-2.4T-A95B
vLLM 宣布 Day-0 支持 Qwen3.8-2.4T-A95B，这是 Qwen 家族首个以开放权重发布的 Qwen-Max 级模型，基于 Qwen 3.5 架构开箱即用。
推荐理由：原文给出 Qwen3.8-2.4T-A95B 的架构细节、多精度权重和部署要求，读者可据此评估自建推理的成本与硬件门槛。
Mistral AI：News（网页）精选AI 评分6060 Mistral 推出区域推理端点与优先级层，并接入第三方开源模型 GLM-5.2
Mistral 宣布三项推进 AI 主权的举措：Mistral Regional Endpoints 正式可用，客户可选择推理在欧洲或美国运行；Mistral Priority Tier 进入公开预览，为关键业务负载提供自定义速率限制和带 SLA 的可用性承诺。
推荐理由：Mistral 把区域推理端点、SLA 优先级层与第三方开源模型接入放在同一套基础设施上，读者可据此判断主权 AI 的落地方式。
Hugging Face：Blog（RSS）精选AI 评分7979 Meta 发布开源多模态模型 Muse Glimmer-30B，面向本地智能体场景
Meta 发布 30B 参数多模态开源模型 Muse Glimmer，由 Muse 蒸馏而来，采用 Apache 2.0 许可，主打本地智能体用途如编码、文档分析和个人助理。
推荐理由：发布方提供了架构细节、完整基准对比和多种部署路径，读者可以据此评估它在本地智能体场景的适配性。
Together AI 研究与产品博客（RSS）精选AI 评分8282 Together AI 发布 Kimi K3 开发者完整指南
Together AI 发布 Kimi K3 开发者指南。Kimi K3 是 Moonshot AI 的 2.8 万亿参数开源权重模型，支持 1M 上下文、KDA 与 AttnRes 架构，API 兼容 OpenAI，定价为缓存命中输入每 1M token $0.30、未命中 $3.00、输出 $15.00。
推荐理由：Together AI 官方上手指南，覆盖 Kimi K3 的架构要点、推理与缓存等 API 细节和定价，便于开发者直接接入生产。
BAIR：Berkeley AI Research Blog精选AI 评分6262 从 CUDA 到 MLX：K-Search 如何把数十年内核经验带到 Apple Silicon
IBM Research 基于 UC Berkeley Sky Lab 的 K-Search 框架扩展出 MLX 后端，并设计结构化 CUDA-to-MLX 翻译层，让进化式内核搜索把已有 CUDA 内核当作知识库适配到 Apple Silicon。
推荐理由：K-Search 把 CUDA 内核优化经验迁移到 Apple Silicon，读者可了解跨平台内核搜索的方法与实测数据。
vLLM 官方博客（RSS）精选AI 评分7272 vLLM 发布 Kimi K3 Day-0 支持，2.8T MoE 模型最高 370 tok/s
vLLM 宣布对月之暗面 Kimi K3 提供 Day-0 高效支持。Kimi K3 是 2.8 万亿参数的 MoE 多模态模型，每 token 激活 896 个专家中的 16 个，基于 Kimi Delta Attention 与 Attention Residuals，支持 1M token 上下文窗口。
推荐理由：vLLM 官方详述 Kimi K3 的服务适配与内核优化，读者可以据此了解 2.8T 混合 MoE 的生产部署配方和性能数据。
Hugging Face：Blog（RSS）精选AI 评分6969 Diffusers 原生集成 Nunchaku Lite 4-bit 扩散模型推理
Hugging Face 宣布 Diffusers 原生支持 Nunchaku Lite，可像普通模型一样用 from_pretrained() 加载 SVDQuant 4-bit (W4A4) 检查点，无需单独推理引擎或本地 CUDA 编译，内核经 kernels 包从 Hub 下载。
推荐理由：Diffusers 原生支持 Nunchaku 4-bit 推理，附带基准数据和自己量化模型的完整流程，适合关注消费级显卡跑扩散模型的读者。
Sierra：Blog（RSS）精选AI 评分6767 Sierra 工程师复盘内部 MCP Gateway 的构建经验
Sierra 工程师 Mihai Parparita 发布长文，复盘公司内部 MCP Gateway 的构建过程，该网关基于 Model Context Protocol 将 AI 智能体安全接入内部工具。
推荐理由：作者以第一手复盘提炼七条工程经验，覆盖权限设计、Agent 校验与身份管理，方法对自建 Agent 基础设施可直接借鉴。
vLLM 官方博客（RSS）精选AI 评分6868 vLLM 预告 Kimi K3 生产级支持：2.8T 参数、1M 上下文与 KDA 前缀缓存方案
vLLM 发布 Kimi K3 生产级支持的预览博客，正与 Moonshot AI、NVIDIA、AMD 等推进最终集成，计划在 2026 年 7 月 27 日权重发布时提供 day-0 开源服务，包括模型实现、Docker 镜像和部署方案。
推荐理由：vLLM 团队详解 KDA 混合架构带来的前缀缓存改造与内核优化，对部署混合注意力模型的工程团队有可迁移参考价值。
Sierra：Blog（RSS）精选AI 评分6767 Sierra 推出内部云智能体 Pinecone
Sierra 发布内部云智能体 Pinecone，让员工在浏览器、Slack、Linear 或手机上创建、组织和自动化云端 Agent 会话，底层由 app server、Agency 与 runner 三部分组成，沙箱内运行 Codex 或 Claude Code 并以 AG-UI 协议适配。
推荐理由：Sierra 自述内部云智能体的架构与落地数据，读者可以了解如何把员工经验沉淀为可复用的会话与技能。
Hugging Face：Blog（RSS）精选AI 评分6161 IBM Research：模型路由看似简单，实则是系统优化问题
IBM Research 分享在智能体系统中构建模型路由的经验，认为路由不应被当作分类问题而是系统优化问题。在 AppWorld Test Challenge 上用 CodeAct 智能体实测 417 个任务，Claude Sonnet 4.6 总成本 $79（$0.19/任务），反而低于单价更低的 GPT-4.1 的 $155（$0.37/任务），差异源于缓存命中。
推荐理由：作者基于 AppWorld 实测给出路由成本、难度与延迟被低估的三点原因，并分享了可迁移的优化思路。
vLLM 官方博客（RSS）精选AI 评分8080 vLLM 实现 TML Inkling Day-0 支持：1T 参数多模态模型最高 380 tok/s/user
vLLM 宣布 Day-0 支持 Thinking Machines Lab 的 1T 参数多模态模型 TML Inkling，提供 thinkingmachines/Inkling-NVFP4 和 BF16 两个版本。
推荐理由：官方详解了 Day-0 支持背后的 sconv 缓存、TP 分片和 MTP 处理等优化，读者可迁移到类似新架构的推理部署。
Hugging Face：Blog（RSS）精选AI 评分6868 Hugging Face 发布 Profiling in PyTorch 系列第三篇：用 profiler 对比各注意力实现
Hugging Face 发布 Profiling in PyTorch 系列第三篇，用 profiler trace 对比手写注意力、in-place 掩码、SDPA math/efficient/flash/cuDNN 各后端的 kernel 表现。
推荐理由：原文用 profiler trace 逐一对比 PyTorch 各注意力实现的 kernel 差异，读者可以学到一套先猜测再看 trace 的可迁移分析方法。
Hugging Face：Blog（RSS）精选AI 评分6363 Hugging Face 发布 native-speed vLLM transformers 后端
Hugging Face 宣布 vLLM 的 transformers 建模后端现在达到甚至超过 vLLM 原生实现的吞吐速度，模型作者无需移植代码即可用 --model-impl transformers 获得 vLLM 级推理性能。
推荐理由：官方给出了与 vLLM 原生实现对比的具体吞吐数字和使用方法，读者可以据此判断是否切换到自己已有的 transformers 模型工作流。
Hugging Face：Blog（RSS）精选AI 评分6363 Hugging Face 模型上线 Microsoft Foundry Managed Compute，数千个开源权重模型可一键部署
Microsoft Build 2026 上宣布 Foundry Managed Compute 以及 Hugging Face 模型精选目录，数千个开源权重模型每周更新，可一键部署到 Foundry Managed Compute，支持 NVIDIA A100、H100 和 AMD MI300X。
推荐理由：原文完整说明了精选模型目录、策展管线和运行时选择，读者可以据此评估在私有网络内部署开源模型的路径。
Hugging Face：Blog（RSS）精选AI 评分6767 SkyPilot 与 Hugging Face 联合推出 store: hf，Hub 存储成为一等后端，多云读取零出口费
SkyPilot 与 Hugging Face 联合推出 store: hf，把 Hugging Face Storage 作为 SkyPilot 的一等存储后端，用一个 hf:// URL 和现有 HF_TOKEN 即可把 Bucket 或 Hub 仓库挂载进任意云上的任务。
推荐理由：两家联合发布 store: hf，给出了零出口费读取、MOUNT/COPY 用法和实测写入速度，读者可以据此评估多云 GPU 训练的存储方案。
vLLM 官方博客（RSS）精选AI 评分7575 vLLM 发布 MiniMax M3 day-0 支持，覆盖 1M 上下文与多模态推理服务
vLLM 宣布对 MiniMax M3 家族的 day-0 支持，涵盖 MiniMaxAI/MiniMax-M3 与 MiniMax-M3-MXFP8 两个检查点，支持 1M token 上下文和图像、视频多模态输入。
推荐理由：vLLM 团队自己拆解了 day-0 支持背后的 MSA 内核、缓存和部署细节，读者可以按需套用其部署配方。
vLLM 官方博客（RSS）精选AI 评分7575 vLLM 原生支持 Google DeepMind 26B 扩散语言模型 DiffusionGemma
Google DeepMind 与 vLLM 团队合作，将 26B 参数、基于 Gemma4 的离散扩散语言模型 DiffusionGemma 接入 vLLM，这是 vLLM 首个原生支持的 dLLM。
推荐理由：原文详解了扩散语言模型的解码机制和 vLLM 的 ModelState 接入方案，并给出 H200 上的吞吐数据，对推理工程实践有直接参考价值。