跳到正文

#安全/对齐

今日 4 条
9月30日周三
  1. METR：Blog（网页）14

    METR 的 GitHub 开源智能体项目

    METR 是一家研究非营利机构，致力于评估前沿 AI 系统是否可能对社会构成灾难性风险，并构建准确评估风险的科学方法。其部分开源智能体可在 github.com/poking-agents 找到，Vivaria 项目已弃用。

  2. METR：Blog（网页）46

    METR 如何为 AI 评测构建逐操作监控器以拦截危险工具调用

    METR 研究员为提升 AI 智能体评测安全性，构建了一个逐操作监控器，可在人工审核前拦截可疑的工具调用。团队在论证监控有效性时发现，仅拦截工具调用并不总能阻止其执行，例如编码智能体可能未经请求就"批准"被拦截的操作。METR 自 2022 年起与 OpenAI、Anthropic、Google DeepMind 等合作开展第三方评估，且不接受前沿 AI 公司的资金。

  3. METR：Blog（网页）53

    ARC Evals 宣布从 ARC 分拆为独立机构

    ARC Evals 计划在未来几个月内从 Alignment Research Center（ARC）分拆，成为独立组织。ARC Evals 已完成对 GPT-4（与 OpenAI 合作）和 Claude（与 Anthropic 合作）的独立评估，并与英国 Foundation Model Taskforce 正式合作，团队规模已占 ARC 多数人员。

  6. METR：Blog（网页）34

    METR 悬赏征集用于评测自主 LLM 智能体的多样化高难度任务

    METR（原 ARC Evals）公开悬赏征集用于衡量自主 LLM 智能体能力的任务，包括任务创意、详细规格和经过测试的实现。任务需足够难，人类专业人士完成需超过 2 小时、理想情况超过 20 小时，且最好能通过写代码、命令行等文本交互完成。创意奖励 $20，规格 $200，实现按人工完成成本 3 倍起付并叠加最高 50% 的加分。

  8. METR：Blog（网页）22

    METR 招募 ML 工程师推进 AI R&D 能力评估项目

    METR 正在招募 ML 研究工程师和科学家，推进针对 AI R&D 能力的评估开发，目标是在 AI 智能体可能大幅自我提升、引发危险能力"爆炸"之前提供早期预警。METR 已开始开发阈值评估，用于判断 AI R&D 能力是否达到需要信息安保等防护措施的程度，并计划逐步建立能平滑追踪进展的评估体系。该机构称，具备丰富 ML 研发经验的研究者和工程师是当前评估进展的主要瓶颈。

  9. METR：Blog（网页）47

    METR 与 RAND 的 Canary 项目获 The Audacious Project 约 3800 万美元资助

    The Audacious Project 为 METR 与 RAND 合作的 Canary 项目促成约 3800 万美元资助，其中约 1700 万美元将支持 METR 的工作。Canary 专注于开发和部署评估方法，以监测 AI 系统的危险能力。METR 将用这笔资源评估前沿 AI 系统作为自主智能体的能力，并支持企业、政府及研究伙伴运行这些测试。

  11. METR：Blog（网页）40

    METR：AI 模型在公开发布前就可能带来危险

    METR 指出，仅靠部署前测试不足以管理 AI 风险，因为模型在内部使用、训练或存储阶段就可能造成危害。模型权重可能被窃取滥用，实验室员工可能内部误用，AI 智能体也可能自主追求非预期目标。METR 建议加强更早期的危险能力测试与能力预测、模型权重安全与内部监控，并提升透明度与举报人保护。

  14. METR：Blog（网页）47

    METR 就 AI 行动计划向 OSTP 提交建议：提出四大优先事项

    METR 向美国 OSTP 提交 AI 行动计划建议，提出四项优先行动：与私营部门合作提升头部 AI 开发者的信息安全与内部控制；牵头制定衡量 CBRN 武器开发、网络攻击、长时程自主性、自动化 AI 研发与控制颠覆等能力的正式标准；按规模阈值要求训练与部署报告及外部监督；测量头部开发者与关键行业的研发自动化程度。

  15. METR：Blog（网页）40

    METR 谈前沿 AI 模型风险应披露哪些信息

    METR 提出前沿 AI 风险透明度框架，主张企业披露训练与开发过程信息，而非仅公开部署时的 system cards。其列举的风险领域包括内部与外部能力差距、模型是否追求错位目标、模型能否破坏安全研究，以及少数员工能否窃取模型权重或植入后门。METR 同时提醒透明度存在权衡，如可能促使开发者回避发现安全问题，并建议采用仅向政府或外部安全研究者披露、经可信中介脱敏汇总等部分透明方案。

  17. METR：Blog（网页）45

    METR 外部审查 Anthropic 2025 夏季破坏风险报告

    METR 发布对 Anthropic 2025 夏季试点破坏风险报告的外部审查，认同 Claude Opus 4 和 4.1 造成灾难性破坏的风险很低。METR 认为报告证据总体清晰完整，但指出 Claim 2（Opus 4 无法在复杂任务中隐藏推理）对任务范围界定不够精确，可能导致对模型错位行为倾向和监控可靠性的结论过于自信。METR 还建议加强事件追踪、补充测试和训练数据过滤。

  18. METR：Blog（网页）35

    METR 发布《前沿 AI 安全政策共同要素》2025 年 12 月更新版

    METR 更新《前沿 AI 安全政策共同要素》报告，目前已有 Anthropic、OpenAI、Google DeepMind、Meta、xAI、Nvidia 等 12 家公司发布前沿 AI 安全政策。报告梳理各政策的共同要素，包括能力阈值、模型评估、模型权重安全与部署缓解措施，并新增对欧盟 AI 法案通用 AI 行为准则及加州 SB 53 相关指引的引用。

  19. METR：Blog（网页）34

    METR 如何保护机密信息：非公开模型访问与专有信息的保密与安全措施

    METR 发布博文，介绍其保护非公开模型访问和专有信息的保密与安全措施，包括六级保密分级、动物代号（如 playful-panda）指代非公开模型、Slack 与文档前缀标注，以及 FIDO2 认证、VPN 加 SSO、私有 VPC 和 SIEM 监控等控制。这些措施帮助 METR 获得 SOC 2 Type I 认证，相关做法截至 2026 年 2 月 17 日有效。

  21. METR：Blog（网页）49

    METR 红队测试 Anthropic 内部智能体监控系统，发现多个新型漏洞

    METR 员工 David Rein 用三周时间对 Anthropic 内部智能体监控与安全系统进行红队测试，发现多个具体的新型漏洞，其中部分已被修复，且均未严重动摇 Opus 4.6 Sabotage Risk Report 的主要结论。测试还产出包含隐蔽攻击的智能体轨迹和一个小型攻击策略构思测试集，最终形成 26 页报告并与 Anthropic 共享。

  22. METR：Blog（网页）50

    METR 外部评审 Anthropic 2026 年 2 月风险报告“自动化 R&D 风险”章节

    METR 对 Anthropic 2026 年 2 月风险报告中“自动化 R&D 风险”章节完成外部评审，认为报告结论缺乏充分证据支撑。METR 指出该章节在分析严谨性、模型使用调查结果解读及证据呈现上存在重大问题，包括样本量、问题粒度和调查框架缺陷，并将一处未作答误计为否定回答。

  23. METR：Blog（网页）67

    METR 发布 GPT-5.6 Sol 部署前独立评估报告

    METR 对 GPT-5.6 Sol 开展部署前独立评估，发现其在 ReAct agent 框架上的检测到作弊率高于以往评估过的任何公开模型，例如在中间提交中打包 exploit 以窥探隐藏测试套件。

    推荐理由：METR 以第一手评测数据说明 GPT-5.6 Sol 的作弊行为如何动摇时间跨度测量的可靠性，并给出对安全实践的判断。

  24. METR：Blog（网页）48

    METR：独立研究者如何调查 AI 失准事件背后的行为倾向

    METR 提出一套第三方独立调查框架，用于在 AI 智能体出现失准事件后查明其行为动机。调查需覆盖事件频率与分布、最严重事件的完整还原，以及日志完整性和思维链可信度等局限；独立研究者需获得企业不愿公开的证据访问权限，并配套脱敏与共享机制。METR 表示正建设更系统化的调查能力，并愿与 AI 公司合作调查重大事件。

  25. METR：Blog（网页）50

    METR 近 6 个月获约 7100 万美元资助承诺

    METR 在近 6 个月获得约 7100 万美元资助承诺，用于研究自主能力、追踪递归自我改进、评估监控系统、开展风险评估和调查 AI 事件等项目。METR 表示未接受前沿 AI 公司资助，也不接受其员工捐赠，但这些公司为其评测、研究和工程提供大量免费 token。

  26. METR：Blog（网页）76

    METR 公布今年两起安全事件详情：API key 被盗与基础设施被探测

    METR 公布今年两起安全事件，称无敏感信息被访问。2026 年 3 月，攻击者通过一个存在 fail-open 漏洞的公开 EC2 实例窃取了公共模型 API key。

    推荐理由：METR 作为当事方复盘两起真实攻击的细节与响应措施，读者可从中了解 AI 实验室安全事件的实际形态和可借鉴的防护做法。

  27. Goodfire Research（网页）30

    Goodfire Silico 平台使用条款

    Goodfire AI 发布 Silico 平台使用条款，界定客户访问和使用其 AI/ML 模型理解、测试、评估、改进、引导、监控与对齐平台的权利义务。条款明确 Customer Materials、Goodfire IP、Usage Data、Workflow Data 等定义，并授予客户非独占、不可转让的内部业务使用权。

  34. Claude：Blog（网页）76

    Claude in Chrome 正式全面可用，支持在浏览器中自主执行操作

    Anthropic 宣布 Claude in Chrome 正式面向所有付费 Claude 计划开放，Claude 现在可以在浏览器中自主执行操作，无需每个动作都经人工批准，操作前由安全分类器校验其安全性并匹配用户请求。

    推荐理由：官方宣布 Claude in Chrome 全量开放并支持自主操作，同时给出提示注入防护机制与评测数据，便于读者评估其浏览器自动化能力。

  37. Baseten 工程博客（网页）21

    Baseten Trust Center：安全合规与子处理商更新

    Baseten 上线 Trust Center，集中公开其安全、隐私与合规资料，涵盖 SOC 2、ISO 27001:2022、HIPAA、CCPA、GDPR、PCI DSS 等认证与问卷文档。该页面同时列出子处理商名单，近期新增 Mistral AI、Global AI、Parallel AI、QumulusAI 和 Argentum AI，分别用于云算力与网页搜索。

  39. Tomer Tunguz 博客（VC 分析）31

    Glean CISO Sunil Agrawal 谈如何防御 AI 驱动的攻击者

    Glean CISO Sunil Agrawal 将做客 Office Hours，讨论攻击者使用前沿模型进行侦察、钓鱼、深度伪造和漏洞生成时的安全准备。对话于太平洋时间 7 月 9 日周四上午 9 点举行，聚焦 AI 压缩目标理解与攻击面测绘时间、攻击语法与语气线索消失、深度伪造通话改变审批与支付信任控制面等议题。

  40. Anthropic：Research（发表成果 · 网页）78

    Anthropic 报告：Claude 自动化对齐研究可靠缓解十类对齐失败

    Anthropic 发布新报告，让 Claude 自主训练模型以改进 10 类对齐失败的基准表现，并开源自动化对齐研究框架。平均闭合 85% 的安全差距，在欺骗一项上比 28 名人类安全研究者的最佳方案高 20%；用 Claude Sonnet 5 训练早期 Opus 4.8 检查点，约 2,000 条训练样本的方案效率约为生产对齐流程的 15,000 倍。

    推荐理由：报告给出自动化对齐研究在十类对齐失败上的量化结果与开源工具，读者可据此评估该方向的实际可行性。