Baseten 解读 Compound AI:用多模型组合替代单体大模型
Baseten 工程博客提出 Compound AI 系统,主张用多个专用模型组合替代庞大的全能单体模型,以获得更快、更便宜的推理。该系统让模型之间直接互相调用,减少网络开销、额外延迟和出网成本,并让每个步骤独立使用自动扩缩容的 GPU。文中列举的典型场景包括 AI 电话呼叫、AI 智能体和 RAG 流水线。
Baseten 工程博客提出 Compound AI 系统,主张用多个专用模型组合替代庞大的全能单体模型,以获得更快、更便宜的推理。该系统让模型之间直接互相调用,减少网络开销、额外延迟和出网成本,并让每个步骤独立使用自动扩缩容的 GPU。文中列举的典型场景包括 AI 电话呼叫、AI 智能体和 RAG 流水线。
Trail of Bits 与 zizmor 维护者合作,使静态分析器 zizmor 完整支持 GitHub Actions 的 YAML 锚点。
Trail of Bits 发布研究称,公共技能市场正被窃取凭据、外传数据、劫持智能体的恶意技能淹没,而现有扫描器难以拦截。
推荐理由:Trail of Bits 用四个自研恶意技能实测并绕过多家技能扫描器,读者可以从中了解静态扫描在供应链攻击面前的结构性局限。
Trail of Bits 为其开源变异测试引擎 Mewt 新增 DAML 语言支持,可解析 DAML 代码、生成多类变异体并跑现有测试套件统计存活数量。Mewt 还加入两个针对 DAML 授权原语的变异:controller 参与方替换(CPS)与移除(CPR),瞄准 controller 子句拼写错误、参与方缺失等授权类 bug。
Trail of Bits 为 Testing Handbook 新增 Rust 安全测试章节,覆盖动态分析(Miri、proptest、变异测试)、Clippy 静态分析、内存零化与 Kani 模型检查等工具链。
Trail of Bits 在与 OpenAI 合作的 Patch the Planet 项目中,用 Codex 的 /goal 对 Rust、curl、zlib 等代码库挖洞,找到了 Rust 1.98 已修复的 soundness 漏洞和误编译、11 处变体命中,以及 Keycloak SAML 的两个潜在高危提权漏洞。
推荐理由:原文来自亲历团队,给出了 /goal 挖漏洞的三条可迁移技巧和 Rust 变体分析流水线,读者可以照此改进自己的 Agent 审计流程。
Augment Code 用内部评测 AuggieBench 测量数十个 AGENTS.md 对代码生成的影响,最好的文件带来相当于从 Haiku 升级到 Opus 的质量提升,最差的比没有文件更糟。
推荐理由:作者基于内部评测给出了 AGENTS.md 的可用与失效模式,读者可以按自身模块选择对应写法。
Augment Code 在 OpenClaw 的 40 个 PR 上测试 Auggie、Claude Code 和 Codex,对比在 AGENTS.md 前加入约 2.5k 字符的 Karpathy 式编码规则的效果。
推荐理由:原文用三个 Agent 和 40 个 PR 的实测数据,说明 Karpathy 式规则能降本提速但质量不升,可迁移到自家工作流。
Augment Code 介绍其基于 Cosmos 平台的 Incident Investigator Expert,在 Slack 中对每条 PagerDuty 告警自动执行分诊和根因分析,给出 RCA 和四种修复路径(监控、代码修复、回滚、升级),人工只需审核并批准。
Augment Code 博客提出 loop engineering 概念,即设计从触发、执行、验证到产出的智能体循环,人类在需要判断力的检查点介入。
作者认为构建 agent 的团队应把路由设计放在第一位、模型选择放在最后。他提出三层结构:技能分类器识别任务意图、路由器根据复杂度等特征决定执行层级、模型选择器在层级内挑最便宜的合格模型。
Anthropic 分享了为 claude.ai、Claude Code 和 Cowork 构建隔离管控(containment)机制的工程经验,核心问题是如何在智能体能力增强、潜在影响范围扩大的同时限制其爆炸半径。相关文章还涉及 Claude Code 自动模式、长时运行智能体的 harness 设计,以及 Claude Opus 4.6 在 BrowseComp 中的评测意识等议题。
Tomer Tunguz 介绍其正在实验的智能体记忆架构:查询先经 preflight 从约 90 个技能文件中按意图检索相关技能载入上下文窗口,再由本地 Ornith 35B(经 Ollama 运行于 Apple Silicon)执行,约 80% 的常规任务留在本地,困难任务路由到 frontier 模型。
Anthropic 上线 AI Fluency: Framework and foundations 课程,教授用 4D 框架——Delegation、Description、Discernment、Diligence——与 AI 高效、合乎伦理且安全地协作。课程含 14 节课、1 次测验,时长 4 小时。
Tomer Tunguz 分析长会话智能体的问题:对话轮次堆积导致注意力退化,临时指令变成永久残留,长期读写权限还会被恶意邮件投毒劫持日程。他提出日常协调者只活 24 小时,任务委派给仅存活约 30 秒的单一用途子智能体,午夜由离线摘要器把持久偏好写入 preferences.md 后清空对话,并附上两个系统提示词示例。
Google 介绍如何在 Raspberry Pi 5 上用 LiteRT 和 Gemma 模型实现完全离线的实时端侧 AI,并以 Reachy Mini 机器人演示目标检测、语音识别、推理和语音合成的完整本地流水线。
推荐理由:原文给出 Gemma 各型号在 Raspberry Pi 5 上的实测数据和完整部署流程,读者可以据此选择合适的端侧模型并复现本地推理。
HeyGen 与 Google Cloud 合作,把 180 亿参数以上的数字人视频扩散模型 Avatar IV 迁移到八芯片 Trillium(v6e)主机上,速度比首个可用版本提升 1.86 倍。
Google 开源了基于 ADK 和 Gemini 的客服退款 Agent 示例,演示提示词注入可导致超额退款、密钥泄露等风险。文章提出三层零信任防护:用 Cloud KMS 硬件签名保证写入不可抵赖,用 gVisor 沙箱零网络出口隔离动态生成代码,用确定性语义网关加 CI/CD 回归测试校验输入输出;完整代码见 zero-trust-agents 仓库。
推荐理由:文章用开源示例和代码讲解三层零信任防护的具体做法,读者可以直接在本地复现攻击与防御流程。
Google 在 ADK 中推出原生的 live 语音 Agent 评测能力,可用模拟用户以音频说话、对语音回复打分,并复用已有的文本 Agent 评测流程。
Google 开发者倡导者 Yufeng Guo 撰文介绍深度学习在天体粒子物理中的应用,这类研究依赖覆盖数千平方公里的巨型观测站,如面积 3000 km²、含 1500 多个探测站的 Pierre Auger Observatory。探测器以纳秒级分辨率记录波形,形成类似图像的数据结构,天然适合深度学习处理,可用于提升仪器灵敏度、发现隐藏模式和搜索信号异常。
Google 复盘其 AI Agents Challenge 获奖提交,归纳出四种反复出现的工程模式:双向 MCP(智能体既是自身工具的客户端也是可供其他智能体调用的 MCP 服务器)、基于事件总线的并行并发、回退模型必须通过与主模型相同的验证函数,以及在昂贵模型调用前做分层路由。
推荐理由:Google 从获奖提交的真实代码里提炼四种智能体工程模式,双向 MCP、事件驱动并发、同标准回退和分层路由都给出可直接借鉴的做法。
针对 AI 编程智能体,端到端基准(如 Terminal-Bench、DeepSWE)只能给出综合分数,无法解释涨跌原因,行为评估则断言具体可观测动作,如提示词不明确时是否反问、改构建文件前是否跑本地校验。
作者发布开源 Rust 工具库 TeaQL Tool,将 52 个常用工具封装在统一的 T::xxx() 门面之后,覆盖 ID、时间、JSON、哈希、HTTP 等操作,底层复用 uuid、chrono、serde_、reqwest 等成熟 crate。
在 MusicBrainz 数据集上,同一请求的 SQLx 自然全局窗口写法中位耗时 5,871.169 毫秒,而专家级 root-first 两阶段方案仅 2.469 毫秒,差距 2,378 倍。
作者发布开源包 @teaql/ai-sdk,把显式声明的业务能力白名单转换成原生 Vercel AI SDK 工具,替代让模型直接生成 SQL 的通用做法。
独立开发者 Baur 在桌面应用 SyntaxCue Pro 中采用 BYOK 架构,让用户自备 API key,应用经 Tauri 的 Rust 层从系统凭据存储(macOS Keychain。
作者在 Mac 上的 Chromium 浏览器中实测了开源 421M 参数决策模型 Laya(Apache 2.0)经社区 ONNX Runtime Web 移植版 layaForWeb 的运行表现。
推荐理由:作者实测给出了 Laya 在浏览器运行的下载量、延迟、量化精度损失和后台标签页限制,方法可复用。
AWS 机器学习博客发布教程,用三个智能体(作曲、交付、合规)在 Amazon Bedrock AgentCore Runtime Instances 上构建音乐制作流水线。
World Labs 发布技术长文,深入解析其网页端 3D Gaussian Splatting 渲染器 Spark 2.0 的流式 LoD 系统。
Every 的 Monologue 开发者 Naveen Naidu 用 Codex 构建了一支定制智能体团队,涵盖各领域工程师、客服和增长策略智能体,负责维护 Monologue 网站与应用。每个智能体都是一个 Codex 项目,配有自定义 AGENTS.md 文件、技能、文件夹、记忆和代码库,使其成为专才。近期客服智能体将一条用户好评转交给网站工程师智能体,后者把推荐语加到了网站上。
Every 员工 Katie Parrott 用两年时间教 AI 模仿自己的写作方式,并将这套方法发展为 Compound Writing——一套把 AI 当作写作伙伴的系统,还做成了开源插件,教其他写作者按她的方式思考、起草和编辑。她最初是在 2023 年被裁员后,靠每月 20 美元的 ChatGPT 订阅起步。
Every 的 head of evals Mike Taylor 公开他让 Claude 保留个人声音的写作流程:先写标题、收集来源搭骨架、用 Monologue 录音记录想法、让 Claude 生成 story beats,再用 Claude Opus 5.5、Fable 5.1 和 GPT-6 Astra 生成多版草稿后拼接,自编后交编辑。
Spiral 总经理 Marcus Moretti 用 Claude Code 独自承担代码、客服、营销和产品管理,除路线图外所有 PRD 和工单均由 Claude 撰写,原本分散在 10 个应用中的事务性工作被收进单一对话线程。他通过 compound engineering 的 /ce:strategy 技能生成产品战略文档,并将路线图作为 GitHub 项目 README 管理工单。
Every 的 Cora 负责人 Kieran Klaassen 把 compound engineering 循环从 Brainstorm→work→review→compound 扩展为 Ideate→brainstorm→plan→work→review→polish→compound→repeat 八步。
在复合工程流程中,打磨(Polish)是最后一步:亲自使用应用,把感觉不对的地方告诉 AI 智能体,直到满意为止。作者用 /ce-polish 命令检出分支、后台启动开发服务器并在编辑器中打开应用,通过 Monologue 语音反馈让智能体调整 Cora 邮件卡片的动画与布局密度。这一环节之所以重要,是因为智能体无法判断什么才算“好”,最终的人类判断仍不可替代。
Baseten Base Labs 发布 Qwen3 8B Reranker,用于对查询与文档做相关性判定,输出只能是 "yes" 或 "no"。示例通过 baseten_performance_client 的 PerformanceClient 调用 classify 接口,支持 truncate、batch_size 与 max_concurrent_requests 参数配置。
SDXL Lightning 是 Stable Diffusion XL 的变体,仅需 4 个 UNet 步骤即可生成 1024x1024 像素图像,实现接近实时的图像生成。模型接收单个 prompt 输入,返回图像的 base64 字符串,该实现采用 4 步 UNet checkpoint 以平衡速度与质量。用户可自行部署 2 步版本以获得更快速度,或 8 步版本以获得更高质量。
Eugene Yan 撰文梳理机器学习代码与系统中常见的设计模式,主要参考 Gang of Four 设计模式一书。
Qwen Image 2512 已在 Baseten 平台上线,可通过 OpenAI 兼容 API 调用,模型名为 qwen-image-2512。该模型支持 1024x1024 尺寸图像生成,可配置 num_inference_steps 与 guidance_scale 参数,并返回 b64_json 格式结果。
Every 评测负责人介绍如何为自己的工作搭建个人 AI 基准测试,指出 MMLU-Pro 等常用基准衡量不了模型能否帮到你自己的工作。作者以写文案、建仪表盘和做幻灯片为例,说明个人基准分三个层次,可帮助判断何时在 Astra 与 Fable 之间切换,以及能否用 Luna 或 Haiku 等更便宜的模型省钱。