Sierra 工程师复盘内部 MCP Gateway 的构建经验
Sierra 工程师 Mihai Parparita 发布长文,复盘公司内部 MCP Gateway 的构建过程,该网关基于 Model Context Protocol 将 AI 智能体安全接入内部工具。
推荐理由:作者以第一手复盘提炼七条工程经验,覆盖权限设计、Agent 校验与身份管理,方法对自建 Agent 基础设施可直接借鉴。
Sierra 工程师 Mihai Parparita 发布长文,复盘公司内部 MCP Gateway 的构建过程,该网关基于 Model Context Protocol 将 AI 智能体安全接入内部工具。
推荐理由:作者以第一手复盘提炼七条工程经验,覆盖权限设计、Agent 校验与身份管理,方法对自建 Agent 基础设施可直接借鉴。
Modem 发布《Writing Code for Agents》系列第一篇,解释 Claude Code、Codex 等编码智能体主要靠 ripgrep 文本搜索导航代码库,并给出命名、类型、注释位置等可发现的写码建议。
vLLM 团队介绍其如何在高合并节奏下保持发布稳定:2026 年 6 月共合并 1,918 个 commit(日均 64 个),CI 包含 37 个测试组、266 个任务,使用共享容器镜像和 pip-compile 锁定依赖,并依赖 58 个 runner 队列的异构硬件。
IBM Research 分享在智能体系统中构建模型路由的经验,认为路由不应被当作分类问题而是系统优化问题。在 AppWorld Test Challenge 上用 CodeAct 智能体实测 417 个任务,Claude Sonnet 4.6 总成本 $79($0.19/任务),反而低于单价更低的 GPT-4.1 的 $155($0.37/任务),差异源于缓存命中。
推荐理由:作者基于 AppWorld 实测给出路由成本、难度与延迟被低估的三点原因,并分享了可迁移的优化思路。
vLLM 与 AMD Quark 团队展示了在 AMD Instinct MI355X GPU 上训练和部署 EAGLE3 投机解码的完整流程,覆盖 Kimi-K2.5 与 MiniMax-M2.5,并用 InferenceX 做基准测试。
Hugging Face 发布 Profiling in PyTorch 系列第三篇,用 profiler trace 对比手写注意力、in-place 掩码、SDPA math/efficient/flash/cuDNN 各后端的 kernel 表现。
推荐理由:原文用 profiler trace 逐一对比 PyTorch 各注意力实现的 kernel 差异,读者可以学到一套先猜测再看 trace 的可迁移分析方法。
PRX 系列第 4 篇披露其数据策略:预训练数据由公开与内部数据集混合而成,用 VLM 重新生成图像长描述,再转为可流式读取的语料。团队改用 Qwen3-VL 在训练中实时计算文本 latent,实测吞吐仅损失约 3–4%(30 天训练多约 1 天),并采用 Lance 构建、MDS 流式的双格式流程,图像统一以 JPEG quality 92 编码。
vLLM-Omni 将 Qwen3-Omni 拆成 Thinker、Talker、Code2Wav 三阶段流水线,并通过 OpenAI 兼容的 /v1/chat/completions 提供文本与语音生成。
Google 宣布将 Multi-Token Prediction(MTP)改造性地部署到已冻结的 Gemini Nano v3 模型上,并已向 Pixel 9 和 10 系列推送。
vLLM-Omni 已支持 Qwen3-TTS、VoxCPM2、Fish Speech S2 Pro 和 Higgs Audio V3 等 TTS 系统,并针对各模型瓶颈采用不同优化策略。
vLLM 联合 Red Hat 和 Andrew Ng 的 DeepLearning.AI 推出课程《Fast & Efficient LLM Inference with vLLM》,现已免费上线,时长约 1.5 小时,含 9 节视频和 3 个 JupyterLab 动手实验。
Intel 的 AutoRound 训练后量化算法已完整集成进 vLLM-Omni,支持 W4A16 量化并实现"一次量化、直接部署"流程。Qwen3-Omni-30B-A3B 的 checkpoint 从 66 GB 降至 25 GB,体积减少最多 62%,其 W4A16 版本在 OmniBench 上得分略优于 BF16 参考,文生图质量漂移仅约 1.3%。
Together AI 详细解析其为 MiniMax M3 做的生产级推理优化,M3 支持 1M token 上下文窗口、原生多模态和 MiniMax Sparse Attention(MSA)架构,MSA 使 prefill 提速超过 9x、decode 提速超过 15x。
Together AI 通过 TensorRT 多 profile 编译、GPU 端条件分支和减少 CPU 拷贝,打造出全球最快的语音转文字技术栈。
Sierra 构建了一套动态路由多家供应商的转录平台,通过并行查询多个转录模型并融合输出,内部基准显示可将话语错误率平均降低约 25%,在转录提升空间更大的语言中最高降低 37%。该平台还支持 70 多种语言,并将对话上下文注入转录过程,使金融服务智能体的输入验证率提升超 25%,整体解决率最高提升 1%、重大转录错误最多减少 15%。
Together AI 发文解析 DeepSeek-V4 的服务化挑战,认为其核心变化是在 token 轴压缩 KV cache 的混合注意力设计(CSA、HCA、SWA),使模型支持 1M token 上下文窗口。
推荐理由:原文基于 Together 在 HGX B200 上的实际 bring-up,给出 KV cache 布局和缓存策略如何决定 DeepSeek-V4 长上下文吞吐的具体经验。
开发者用 CLI 智能体 Goose 配合 Together 的 dedicated containers 技能,仅凭一句提示词就为 Netflix 新发布的 void-model 生成了可在 Together Dedicated Container Inference(DCI)上运行的完整容器配置,把从模型发布到实际部署的滞后压缩到近乎为零。
Sierra 提出"上下文工程"是构建复杂 AI 智能体的核心,通过渐进式披露只向模型提供当下最相关的信息,避免上下文窗口内无关 token 稀释注意力。
OpenAI 发布 gpt-realtime-2 实时语音模型提示词指南,该模型是用于低延迟语音到语音应用的推理模型。上下文窗口从 32k 扩展到 128k tokens,指南建议从最小提示词起步按测试补指令、用低推理档位、用 preamble 管理等待体验,并在调用工具前逐位确认订单号、邮箱等高精度标识符。
推荐理由:原文给出 gpt-realtime-2 的提示词设计规则,覆盖推理档位、工具确认和实体捕获等可落地做法。
Sierra 宣布重构工程面试流程,取消了编码和算法面试,改用由 Plan、Build、Review 三环节组成的 AI-native onsite,候选人可在 2 小时内自选 AI 工具完成搭建。公司还把电话初筛换成系统设计面试,并试点考察 1 到 N 迭代能力的 debugging 面试。作者称新流程信号更丰富、体验更好,不过开放式格式难以标准化,需配套评估标准和双人面试来校准。
面向 AI 原生团队的多租户 GPU 集群设计需同时满足池化容量、租户隔离与自助访问三项要求,避免为每个团队单独建集群导致 GPU 夜间和周末闲置。架构上采用共享层加租户层的两层模式,共享层由集中控制面管理高性能存储与 InfiniBand/Ethernet 网络,租户层为每个团队提供专属 GPU 节点、存储 PVC 及自选编排层(Kubernetes、Slurm 等)。
OpenAI 发布 API 部署检查清单,指导开发者基于 Responses API 和 GPT-6 模型族(gpt-6-astra、gpt-6.1-sol、gpt-6-luna)配置生产工作负载。
OpenAI 发布 Sora 2 提示词指南,更新至最新 API 能力,包括角色引用(可上传动物或对象并复用)、1920×1080 或 1080×1920 高分辨率导出、时长上限从 12 秒提高到 20 秒、基于完整原始片段的视频续写,以及支持异步批量生成的 Batch API。
推荐理由:OpenAI 官方系统讲解 Sora 2 提示词写法,并覆盖角色引用、更长时长和视频续写等新 API 能力。
Mistral AI 基于 open-source 编码助手 Vibe 构建了一个自主智能体,可读取 Rails 源文件、生成或改进 RSpec 测试,并通过 RuboCop 和 SimpleCov 自定义工具在 CI/CD 中无人工干预运行。
推荐理由:Mistral 详述了在 Vibe 上构建 Rails 测试智能体的上下文工程与自定义工具方案,给出可复用的步骤和实测分数。
OpenAI 发布 Codex 模型(API 中为 gpt-5.3-codex)的提示词指南,推荐 medium 推理力度作为交互编码的平衡选择,高难度任务可用 high 或 xhigh。
推荐理由:官方给出从 GPT-5 系列迁移到 gpt-5.3-codex 的提示词、工具和 phase 参数细节,可直接照做。
Sierra 构建了 Multi-Model Router(MMR)与拥塞感知的 provider 选择器两层基础设施,在 provider 出现限流或故障时保持智能体行为一致。
Mistral AI 团队排查 vLLM 在 P/D 分离部署(NIXL/UCX、Mistral Medium 3.1、开启图编译)下每分钟约 400 MB 的内存泄漏。
推荐理由:原文完整复盘从 Heaptrack、pmap、BPFtrace 到 GDB 的内存泄漏排查路径,方法可迁移到类似的深层依赖问题。
OpenAI 开发者 Cookbook 发布 gpt-image-1.5 图像模型提示词指南。该模型在写实度、准确性和可编辑性上较前代有明显提升,支持高质量渲染与低延迟场景。指南给出提示词结构、显式约束、迭代式小步修改等方法,并用信息图、照片级写实、UI 模型、Logo、风格迁移、虚拟试穿、多图合成、儿童绘本角色一致性等示例演示生成与编辑工作流。
推荐理由:官方指南给出提示词结构、约束写法和质量与延迟取舍方法,示例覆盖生成与编辑的常见生产场景,可直接迁移到实际工作流。
OpenAI 发布 GPT-5.2 提示词指南,称其在企业级和智能体工作负载中提升了准确性、指令遵循、token 效率和多模态理解,但默认 reasoning_effort 为 none 且仍对提示词敏感。
推荐理由:OpenAI 官方给出 GPT-5.2 的提示词模式与迁移步骤,开发者可以直接套用其中模板和 evals 流程。
OpenAI 开发者 Cookbook 发布教程,演示在同一 Realtime WebSocket 会话上通过带外的 response.create 请求(conversation 设为 none。
OpenAI 开发者 Cookbook 发布教程,演示如何用 Codex CLI 将 COBOL 投资组合系统等 legacy 代码库现代化,方法以一个 ExecPlan 为核心,拆为五个阶段:选定试点流、盘点与发现、设计与规格、实现与并行验证、沉淀为可复用模板。
OpenAI 发布演示视频,展示如何用 Codex 的多模态能力设计、迭代并构建应用前端界面。Channing Conger 和 Romain Huet 演示了将 Codex cloud 作为前端设计伙伴,从手机创建 Codex 任务、草图构思新功能到多模态功能的不同用法。
OpenAI 发布一段 5 分钟演示,展示如何用 Codex CLI 搭配 GPT-5-Codex 完成开发任务。视频依次演示规划多人游戏实现、使用 CLI 命令、落地实现方案、部署游戏并试玩。
OpenAI Developers 发布了一场实操演示,展示通过 AI 智能体和工具调用(tool calling)为代码库提速的工具链。演示以动手实操形式呈现,聚焦于提升编码速度。
内容讨论在 Cursor 中让 Codex 式智能体协作的上下文策略,核心围绕智能体与上下文窗口展开。
OpenAI 发布视频介绍其最新开放模型系列 gpt-oss,支持开发者对模型进行适配、扩展和微调,并可与 GPT-5 结合使用以构建灵活的高影响力应用。视频还展示了 NVIDIA DGX Spark AI 计算机的现场演示。
多个团队分享了用 Codex 端到端交付真实软件的经验教训。内容聚焦 Codex 在产品交付流程中的实际应用。
Answer.AI 的 Jeremy Howard 用 SolveIt 把 Andrej Karpathy 两小时 tokenizers 视频教程改写成带可运行代码、超链接和图片的书稿章节。他采用两阶段"双对话"流程:先把带时间戳的转录稿拆成小段逐条补充超链接、代码示例等素材,再用充实后的转录稿分节撰写正文,避免一次性让 AI 转换导致内容平淡、遗漏概念和幻觉。
OpenAI 发布 Web search 指南,介绍模型如何通过网页搜索获取最新信息并返回带来源引用的答案。
OpenAI 发布 API 速率限制指南,说明速率限制按组织级和项目级而非用户级设定,并随所用模型不同而变化。限制指标包括 RPM、RPD、TPM、TPD、IPM 及部分流式音频模型的每分钟音频分钟数,任一指标先触顶即受限。付费用量层级分为 Build、Launch、Grow,随累计充值额自动升级,层级越高速率限制越高。