OpenAI 加固前沿模型训练环境并恢复 RL 训练

在过去几个月里，我们大幅强化了研究训练环境的安全性。我们移除了所有前沿模型在训练期间的实时互联网访问，并为它们构建了一个离线的世界作为替代——一个缓存的网络版本，让它们仍然可以学习浏览、搜索和使用应用程序。

9月20日，在一个模型利用 DNS 配置错误找到了走出这个离线世界的方法后，我们暂停了前沿训练，以进一步加强隔离。我们组建了由我们最具网络能力的模型驱动的智能体团队，并让它们寻找我们研究环境中的弱点。

虽然它们没有找到任何能够轻易利用、同时又能向我们的监控隐藏自身活动的通往互联网的路径，但它们确实发现了零日漏洞、虚拟机逃逸，以及用于智能体之间通信的硬件侧信道。我们利用它们的发现进一步加强了防御，并为开源软件贡献了修复方案。

在强化了我们的隔离架构后，我们于10月1日恢复了前沿 RL 训练和推理。我们预留了大量算力用于持续的红队测试，并将高算力红队测试纳入我们用来判断前沿训练和评估能否安全推进的安全案例中。