METR 2023 年度回顾:首年运营成果总结
METR 总结其首个完整运营年度(2023年)的成果:开发了在真实自主任务上评估 LM 智能体的初始方法论,该测试被纳入 OpenAI 发布 GPT-4 的系统卡。
METR 总结其首个完整运营年度(2023年)的成果:开发了在真实自主任务上评估 LM 智能体的初始方法论,该测试被纳入 OpenAI 发布 GPT-4 的系统卡。
METR 发布了一份由 AI 公司发布的前沿安全政策清单,涵盖 Amazon、Anthropic、Google DeepMind、G42、Meta、Microsoft、OpenAI 和 xAI。
METR 发布对 Anthropic 2025 夏季试点破坏风险报告的外部审查,认同 Claude Opus 4 和 4.1 造成灾难性破坏的风险很低。METR 认为报告证据总体清晰完整,但指出 Claim 2(Opus 4 无法在复杂任务中隐藏推理)对任务范围界定不够精确,可能导致对模型错位行为倾向和监控可靠性的结论过于自信。METR 还建议加强事件追踪、补充测试和训练数据过滤。
METR 更新《前沿 AI 安全政策共同要素》报告,目前已有 Anthropic、OpenAI、Google DeepMind、Meta、xAI、Nvidia 等 12 家公司发布前沿 AI 安全政策。报告梳理各政策的共同要素,包括能力阈值、模型评估、模型权重安全与部署缓解措施,并新增对欧盟 AI 法案通用 AI 行为准则及加州 SB 53 相关指引的引用。
METR 发布对 Anthropic《Claude Opus 4.6 破坏风险评估报告》2026 年 2 月 11 日版和 3 月 3 日版的外部评审,并提供 PDF 全文。
METR 员工 David Rein 用三周时间对 Anthropic 内部智能体监控与安全系统进行红队测试,发现多个具体的新型漏洞,其中部分已被修复,且均未严重动摇 Opus 4.6 Sabotage Risk Report 的主要结论。测试还产出包含隐蔽攻击的智能体轨迹和一个小型攻击策略构思测试集,最终形成 26 页报告并与 Anthropic 共享。
METR 对 Anthropic 2026 年 2 月风险报告中“自动化 R&D 风险”章节完成外部评审,认为报告结论缺乏充分证据支撑。METR 指出该章节在分析严谨性、模型使用调查结果解读及证据呈现上存在重大问题,包括样本量、问题粒度和调查框架缺陷,并将一处未作答误计为否定回答。
METR 提出一套第三方独立调查框架,用于在 AI 智能体出现失准事件后查明其行为动机。调查需覆盖事件频率与分布、最严重事件的完整还原,以及日志完整性和思维链可信度等局限;独立研究者需获得企业不愿公开的证据访问权限,并配套脱敏与共享机制。METR 表示正建设更系统化的调查能力,并愿与 AI 公司合作调查重大事件。
LlamaIndex 发文反驳「文档解析终将被模型 API 免费覆盖」的观点,认为文档 OCR 的帕累托前沿远高于最新前沿模型。其开源基准 ParseBench(约 2,000 页人工核验企业文档、167,000+ 条测试规则)显示,从 GPT-4o 到 GPT-5.5 三代模型解析准确率提升约 24 分但每页成本约涨 4 倍,最好的前沿模型仍比专用引擎低 20 分。
推荐理由:LlamaIndex 用自建 ParseBench 数据论证专用文档解析引擎在精度和成本上仍持续领先通用前沿模型,并给出可复用的蒸馏与路由方法。
Stainless 团队于 2026 年 5 月 18 日宣布加入 Anthropic 并关停包括 SDK 生成器在内的托管产品,LlamaIndex 撰文复盘为何当初选择 Stainless 以及迁移中的经验。
斯坦福 HAI 隐私与数据政策研究员 Jennifer King 建议 AI 聊天机器人用户谨慎分享信息,具体做法包括:上传医疗等敏感文件前先隐去全部个人信息、使用临时对话、在可选情况下关闭数据用于训练、定期查看政策更新以调整设置。
Fireworks AI 用 CyberGym 测评 DeepSeek V4 Pro 0813、Kimi K3、GPT-5.5 和 Claude Opus 4.8,V4 Pro 在 840 个对抗性安全任务中零拒绝、全部产生原生工具调用,进入验证率 97.3%。
Epoch AI 测算,自 2023 年以来,达到同等 AI 性能水平的成本在数学、科学和技巧类游戏五项基准上平均每季度下降约 47%,约合每年 13 倍,降速超过电力、算力、电池和 DNA 测序的历史降幅。该机构还指出,美国 GDP 增长因统计遗漏 Nvidia 在美国产生的收入而被低估约 0.3 个百分点,到 2028 年这一缺口可能扩大至 2 个百分点。
Epoch AI 数据显示,arXiv 数学预印本中承认使用 AI 的比例从 2026 年 4 月的 4% 升至 8 月的 25%,其中 6% 称 AI 有实质性研究贡献。美国成年人中每周至少 6 天使用 AI 的比例在六个月内从 8% 升至 19%。Epoch AI/Ipsos 调查还显示,67% 从事计算机、工程和科学工作的 AI 用户使用雇主提供的 AI。
Epoch AI 的财务数据库用财报与公司披露估算 AI 芯片的算力、功耗与支出,并追踪超大规模厂商的 AI 建设融资。其测算显示,微软、亚马逊、Alphabet、Meta、Oracle 的合计现金资本开支预计在 2026 年 Q3 超过经营现金流;HBM 占 AI 芯片组件成本的 63%,高于 2024 年 Q1 的 52%。
Epoch AI 更新了其 AI 公司数据库,涵盖前沿 AI 主要参与者的收入、融资、员工和算力数据,并推出 AI Chip Users Explorer,首次展示五家领先实验室的算力使用估算(以 Nvidia H100-equivalents 计)。
OpenAI 的 GPT-6 Astra 以 166 分登顶 Epoch Capabilities Index,Math-ECI 达 170 创下新纪录,但软件工程 SWE-ECI 为 164,仍落后 Claude Fable 5.1 的 167。
Epoch AI 更新其 AI 基准与能力中心,汇总内部测试与外部数据。GPT-6 Astra 以 166 分登顶 Epoch Capabilities Index,Math-ECI 达 170 创纪录,但 SWE-ECI 164 仍落后 Claude Fable 5.1 的 167。该中心还显示,自 2023 年以来同等 AI 性能的成本每季度下降约 47%,年降约 13 倍。
Epoch AI 的公开数据库已追踪 1950 年至今超过 3600 个机器学习模型,并发布多项扩展性研究。其测量显示 GPT-5.6 Terra 和 Sol 的首次 token 延迟随上下文长度呈二次增长,而 Claude Sonnet 5 和 Opus 5 接近线性。此外,全球 AI 芯片内存带宽年增 4.1 倍,2025 年 Q4 已达约 7000 万 TB/s。
Epoch AI 的 FrontierMath 开放问题基准新增 human + AI 解题状态,用于 AI 有实质贡献但非自主解决的问题。
Claude 推出插件市场,收录 340 个插件,可一键安装为 Claude 添加工具、技能和集成。示例包括 GitHub 官方 MCP 服务器、Playwright 浏览器自动化、Figma 设计转代码、Supabase、Vercel 集成,以及代码审查、语言服务器和 CLAUDE.md 维护等开发类插件。
推荐理由:页面列出了插件市场的主要品类和代表性插件,读者可以据此了解 Claude 现有可扩展能力的范围。
Anthropic 为 Claude 上线 Connectors 与 Claude Marketplace,把用户已有的工具接入每一段 Claude 对话,目前共 872 个连接器。
Claude 介绍 Artifacts 功能,可在对话旁生成设计、演示文稿、文档、仪表盘或小型交互工具,支持画布编辑、链接分享(默认私有)和导出为 PowerPoint、PDF、HTML 等格式。
推荐理由:官方页面对 Artifacts 及 Claude Design、Claude Slides、Claude Docs 的功能、协作与导出方式做了较完整说明,便于了解可用范围。
Anthropic 是一家公益公司,致力于构建以安全为前沿的 AI 研究与产品,确保 AI 的收益并降低其风险。其官方博客汇集了 Claude、Science、AI 安全核心观点、负责任扩展政策、对齐科学、Anthropic Academy、经济指数以及 Claude 宪法等发布与公告内容。
Anthropic 公布 Claude 的 Free、Pro、Max 三档订阅方案,Free 档 $0 面向所有用户,可在 web、iOS、Android 和桌面端使用,支持联网搜索、跨对话记忆以及创建文件并执行代码。
Anthropic 发布 AI-native SDLC playbook,主张在代码不再瓶颈后重构传统软件开发生命周期,将流程改为以提交工件驱动的闭环。
推荐理由:Anthropic 把内部 agentic 编码实践整理成六阶段方法论,覆盖从需求捕获到自动回环的每一步落地与治理细节。
Anthropic 发布《构建 AI 原生营收组织》指南,介绍在销售组织中推广 Claude 的配置决策、三阶段落地计划和 ROI 衡量框架。指南包含成熟度模型、试点前的负责人/连接器/IT 安全/成功指标/支出可见性等决策,以及按角色映射的高频用例。
Anthropic 发布 beta 版 Salesforce in Claude 插件,由双方共同构建,在既有 Salesforce 权限下将客户的账户、商机和管线引入 Claude,包含 37 项面向销售的技能,如账户调研、电话准备、管线回顾和 CRM 更新。
Anthropic 改版 Claude Code 的 Projects 功能,用户描述目标后由 Claude 负责拆解任务、并行协调多个线程、审查输出并汇总结果,例如按仓库开线程迁移调用、跑测试并开 PR。
推荐理由:官方介绍了 Projects 从文件夹到对话的改版机制,读者可以了解多线程协调与共享记忆如何改变 Claude Code 的长任务工作流。
Balyasny Asset Management 在数千个真实金融任务上评测 Claude Fable 5,Fable 取得 89.4% 对前代生产模型 86.1% 的成绩,并在复杂规划、分析与智能体执行上表现突出。该机构自建执行框架与 BAMAgent 平台,支持数千个自主智能体 7×24 小时运行,Fable 成为其投资团队系统化与编码工作的首选前沿模型。
Anthropic 于 9 月 23 日上线 Claude Marketplace,将插件与连接器、智能体和服务伙伴集中到一个入口。
推荐理由:Anthropic 官方发布,明确列出三类入口、2,000 多个连接器插件和承诺支出抵扣方式,便于评估它对采购与工作流的实际影响。
Anthropic 前线部署工程师分享大型代码现代化项目的准备方法:过去需多年的项目如今可在数月或数周完成,但组织流程不变,瓶颈从产出变更转向动员组织。
推荐理由:Anthropic 前线工程师基于真实客户部署,给出智能体驱动代码现代化的六步准备方法,可直接迁移到企业大型改造项目。
CodeRabbit、Power Digital 和 ThoughtSpot 通过 Claude Marketplace 用已有的 Anthropic 承诺额度扩展了 Vercel 与 Snowflake 用量。
Anthropic 发文说明 Claude Opus 5.5 针对更长、上下文更重的编码会话做了成本优化,估计典型按 token 计费的工作负载运行成本比 Opus 5 低约 40%。
推荐理由:原文用 Claude Code 六个月聚合数据解释长上下文会话成本结构,并给出保护缓存读取的可操作建议。
Anthropic 宣布 Claude Tag(beta)支持个人连接器:在 Slack 频道中让 Claude 使用成员自己账号连接的工具,如 Google Drive、日历、CRM 或 staging 部署,此前只能使用管理员附加到频道的连接器。
Claude 推出插件目录提交门户,插件可打包 MCP 连接器、Agent Skills 或两者,经审核通过后上架 Claude 目录,成为第三方扩展的主要形式。
推荐理由:官方说明插件提交流程、审核与使用分析功能,开发者可据此了解如何为 Claude 构建第三方扩展。
NVIDIA 发布 Open Agent Safety Platform,Anthropic 与其合作,将 NVIDIA 开源软件 OpenShell 引入 Claude Managed Agents 的智能体安全体系。
推荐理由:Anthropic 官方说明与 NVIDIA OpenShell 的分层安全设计,读者可以据此评估企业智能体的权限控制方案。
Asana 让 AI 智能体直接运行在其 Work Graph 模型内,与人类同事一样拥有角色、任务、消息读写和活动流记录,并由 Claude 驱动复杂任务。每个智能体按内容撰写、洞察分析、项目管理等角色预置技能与集成,其有效访问权限受触发者权限约束。智能体的共享记忆仅允许管理员和编辑者写入永久记忆,普通成员反馈只作用于当前任务。
Anthropic 销售团队基于 Claude Managed Agents(beta)构建了一个购买智能体,每天承接数千次对话,将客户从咨询直接引导至结账。该智能体转交的线索转化为商机的概率是旧表单的两倍以上,成交速度快约五天,且客户可选择与智能体或销售代表沟通。一名工程师用几周时间完成初版,销售与内容团队可直接在 Console 中修改系统提示词,上线后每周持续迭代提示词。
Anthropic 宣布 Claude Managed Agents 的记忆功能即日起以公测形式上线。记忆以文件形式挂载在文件系统上,智能体可跨会话学习并共享经验,记忆可通过 API 导出和管理,并带有权限范围、审计日志、版本回滚和内容修订等企业级控制。
推荐理由:官方公告讲清了文件式记忆的机制和企业级控制能力,还给出多家团队的具体效果数字,便于评估对长时程智能体工作的价值。