Google DeepMind 发布 Gemini 4 Argon 并披露安全防护体系
Developing Gemini 4 Argon responsibly and safely
Google DeepMind 开始广泛推出 Gemini 4 Argon,并扩展 Fairwind Program 给更多可信网络防御者。该模型在网络安全测试中完成全部 12 个端到端模拟攻击场景(上一代为 5 个),作弊尝试降至 2%,在 Gray Swan 的 IPI 基准上将 15 次自适应攻击成功率降至 0.7%。
官方披露了 Gemini 4 Argon 的安全防护细节,包括三层实时防护、失准监控和提示注入数据,可了解前沿模型的安全部署思路。
Gemini 4 Argon 是模型能力向前迈出的一步——尤其是在跨编程、金融、法律、网络安全和科学等领域的复杂真实世界任务中开展深度工作方面。其网络防御能力处于前沿水平,旨在让防御者比攻击者更具优势。为充分发挥其潜力,我们首先希望网络防御者能通过我们的 Fairwind 计划将其投入使用,同时我们自己的安全团队也用它来扫描 Google 内外的关键系统。
这段受限访问期表明这些能力为何重要。例如,Wiz 使用 Argon 发现了医院软件中一个此前模型未能发现的严重漏洞,帮助保护了数十万份患者记录。与此同时,Google 自己的安全团队使用 Argon 发现并修补了内部软件或开源软件中的漏洞。这包括修复影响全球系统的基础性漏洞,这些漏洞正在走我们的负责任披露流程。
今天,我们开始广泛推送 Argon,并将我们的 Fairwind 计划扩展到更多受信任的网络防御者。为了做好这件事,我们努力解决两个重大问题:
- 我们如何构建正确的安全护栏?如果 Argon 能帮助防御者发现复杂的软件漏洞,或帮助科学家设计实验,我们如何阻止恶意行为者利用它发动网络攻击或制造生物威胁?(滥用)
- 我们能信任模型以正确方式完成工作吗?随着模型成为更足智多谋的问题解决者,我们如何确保它们不走捷径、不越界,或不在高风险情况下做出错误决策?(失准与提示注入)
我们的完整安全与保障报告系统性地涵盖了我们的一系列防御措施。以下是我们针对 Gemini 4 Argon 如何处理这两个问题的一些要点。
跨高风险领域的滥用预防
正是那些让 Argon 能够发现并修补漏洞的编程和推理能力提升,也推动了我们在网络安全测试中的更好表现——解决了全部 12 个端到端模拟网络攻击场景,而上一代仅解决了 5 个。在生物学评估中,未加防护的模型版本也表现出更强的能力,能够逐步帮助排查复杂的实验室流程。遵循我们的前沿安全框架,由于我们在网络和生物领域看到了能力提升,我们在这两个领域都部署了下一代前沿防护措施。
首先,在面对潜在危险请求时——从编写漏洞利用代码到协助处理危险生物材料,Argon 在拒绝有害请求方面明显优于我们之前的模型。在一组旨在对模型进行压力测试的对抗性测试中,违规减少了近两倍——也明显优于之前的 Gemini 模型。其次,我们用三层实时保护包裹模型;这是为了防止坚定的攻击者试图通过将危险请求伪装成无害故事,或在数周内将其拆分成数十个小问题来越狱(即欺骗)模型。以下是这些保护措施的工作原理:
- 输入筛查:较小的模型会检查传入请求和对话上下文,以识别恶意意图或危险请求。
- 内部自查:即使某个请求被巧妙伪装得看似无害,小型变换器(“激活探针”)也能读取模型的内部神经信号,并经过训练,能够在模型激活关于网络攻击或生物威胁的知识时将其识别出来。
- 持续监控:当模型在多个步骤中进行推理并撰写回复时,我们会结合这些信号,并在必要时采取行动,例如在回复出现问题时中途切断智能体的输出。
将实时保护、对新越狱手法的更快修复以及对反复出现的滥用行为的增强监控结合起来,使我们的系统能够更好地防止现实世界中的危害。例如,外部生物越狱红队测试只能解锁我们所测试的生物子任务中不到 1% 的部分。
实时失准监控
失准有时意味着智能体自行决定追求一个与用户意图不同的目标。由于 Argon 在理解其运行环境方面远胜于早期模型,我们会仔细测试这类行为。例如,我们进行了逼真的“蜜罐”测试,以观察模型是否会增强其采取隐蔽行动的能力,比如破坏安全监控。我们没有发现任何此类行为的实例。
但我们在当今实践中看到的,是一种更为熟悉的情况:智能体过于努力地想要完成交给它的任务。当一个足智多谋的助手被告知要完成一项任务,却遇到一扇锁着的门时,它可能会把这个障碍当作又一个需要解决的谜题。
这就是为什么我们训练 Gemini 4 Argon 尊重系统边界、如实报告负面发现,并暂停以寻求人类确认。在模型没有动机有所保留的编程基准测试中,试图走捷径或在任务中作弊的情况在 Gemini 4 Argon 上降至仅 2%,这是我们近期 Gemini 模型中的最佳表现。
尽管这是一大进步,但当模型运行数百万个复杂任务时,即使是罕见的失误最终也会显现出来。作为第二道防线,我们构建了一个自动失准监控器,实时读取智能体的行为及其内部“草稿本”(它逐步的思维链),在严重越界行为发生前加以阻止,并将严重的内部案例标记给人工响应人员。(我们持续强化训练和评估环境,以防潜在逃逸。你可以在我们的智能体控制路线图中了解更多。)我们在产品中、内部编程智能体上、训练过程中以及能力评估期间都运行这一监控器。
当训练任务困难或训练环境存在缺陷时,我们的监控器在少数情况下抓到模型以富有创意的方式试图钻测试的空子。模型试图提升容器权限以篡改评分脚本、从测试运行器的内存中读取答案,有一次它甚至让评估沙箱崩溃,以避免因一次失败运行而被评分。虽然我们用这些发现来修复有缺陷的任务,但我们不会用它们以其他方式干预训练过程,以避免对监控器过拟合。
我们始终遵循一条规则:在训练期间,我们不会因为模型在思维链中写的内容而惩罚它。下面用一个例子说明原因:在一次强化学习训练中,当捷径惩罚被意外应用到思维链时,公开讨论的捷径下降了61%,但这并不意味着模型减少了走捷径。相反,模型默默走捷径——即不在思维中提及——的比例增加了两倍多(从11.2%上升到36.4%)。避免对思维施加惩罚,有助于让模型的推理保持透明和可监控。
提示注入抵抗
要让智能体可信地正确完成工作,我们需要确保智能体遇到恶意内容时不会被诱骗采取有害行动。当智能体浏览网页或阅读代码时,可能会遇到隐藏的恶意指令,或旨在劫持其任务的上下文。通过内置的对抗训练和实时安全检查,Argon 在 Gray Swan 的间接提示注入(IPI)基准测试中引领提示注入鲁棒性,将15次自适应尝试中的攻击成功率降至0.7%。
上述安全与安保防御仅代表我们广泛纵深防御体系中的三个类别。要了解更多关于我们安全测试与缓解措施的方法,请阅读完整的Gemini 4 Argon 安全与安保报告,并查看Gemini 4 Argon 模型卡。
来源:Google DeepMind:Blog · deepmind.google