OpenAI 调查 RL 训练中意外评分 CoT 的后果
OpenAI 报告其自动检测系统发现多个已发布模型在 RL 训练中意外受到有限的 CoT 评分，涉及 GPT-5.4 Thinking、GPT-5.1 Instant 至 GPT-5.4 Instant、GPT-5.3 mini 和 GPT-5.4 mini，GPT-5.5 未受影响。
推荐理由：OpenAI 自曝已发布模型在 RL 中出现过意外 CoT 评分，并给出检测系统与影响分析，读者可了解其监控性保护实践。
安全对齐
全部主题AI 安全与对齐：越狱与防御、模型行为研究、安全评测与治理框架的进展。
最新精选
第 81–90 条 · 共 90 条OpenAI：Alignment 研究博客（RSS）精选AI 评分6666
Johann Rehberger / Embrace The Red（RSS）精选AI 评分7777 研究者详解 M365 Copilot 数据外泄漏洞链（CVE-2026-24299）
Johann Rehberger 发布 DEF CON Singapore 演讲全文，披露 M365 Copilot 与消费版 Copilot 的多条漏洞链，MSRC 编号 CVE-2026-24299，问题已修复。
推荐理由：作者亲历披露全链路攻击并给出修复时间线，读者可以借此理解间接提示词注入与内存持久化的实际风险。
OpenAI：Alignment 研究博客（RSS）精选AI 评分7676 OpenAI 在 Codex 中推出 Auto-review，用独立 Agent 审查越界操作
OpenAI 上周在 Codex 中发布 Auto-review，用单独的 Agent（GPT-5.4 Thinking low reasoning）在沙箱边界自动批准或拒绝操作，替代人工同步审批。
推荐理由：原文给出 Auto-review 的机制、内部部署数字和已知局限，读者可据此评估它在编码 Agent 工作流中的适用性。
Answer.AI 官方研发博客（RSS）精选AI 评分6969 Answer.AI 创始人分析 OpenAI 与战争部合同的"合法用途"条款为何难以冻结法律
Jeremy Howard 与 Luke Versweyveld 撰文论证 OpenAI 与 Department of War 合同中的"all lawful purposes"在美国合同法下指履约时的法律而非签署时的法律。
推荐理由：作者从合同法教义出发逐条拆解条款含义，指出 OpenAI 想要的签署时法律标准并未被合同语言锁定，观点有判例支撑。
Answer.AI 官方研发博客（RSS）精选AI 评分7070 Answer.AI 发现未经授权的工具调用问题：模型可幻觉调用未授予的工具且 API 不拦截
Answer.AI 的 Piotr Czapla 报告，Claude Opus 4.6、Sonnet 4.5、Haiku 4.5 会幻觉调用未被授予的工具（如 read_secret、GitHub MCP 的 get_me），且 API 不拦截；在 Gemini、Grok 上也能复现类似行为。
推荐理由：作者实测多家模型会调用未授权工具且 API 不拦截，指出这会瓦解能力分离防御，并给出客户端校验的简单修复。
OpenAI：Alignment 研究博客（RSS）精选AI 评分6363 OpenAI 分享 gpt-5-codex 大规模代码验证的实践方法
OpenAI 团队介绍为 gpt-5-codex 和 gpt-5.1-codex-max 训练专用智能体代码审查器的方法，作为纵深防御安全策略中的输出监控手段。
推荐理由：OpenAI分享了训练专用代码审查Agent的实践经验，读者可了解精度优先的部署权衡和验证比生成更省算力的发现。
Johann Rehberger / Embrace The Red（RSS）精选AI 评分7878 Claude Pirate：利用 Anthropic File API 实现数据外泄的攻击链分析
安全研究员 Johann Rehberger 发布对 Claude Code Interpreter 网络访问功能的数据外泄攻击分析。攻击者通过间接提示词注入让 Claude 抓取用户数据（如最近的聊天记录）写入 sandbox 文件，再用攻击者自己的 ANTHROPIC_API_KEY 调用 Anthropic Files API，将最多 30MB 的文件上传到攻击者账户。
推荐理由：作者独立复现了利用默认网络白名单中 api.anthropic.com 和攻击者 API key 的数据外泄链，并给出缓解建议。
Johann Rehberger / Embrace The Red（RSS）精选AI 评分7979 Amazon Q Developer VS Code 扩展存在提示词注入导致远程代码执行漏洞
安全研究者 Johann Rehberger 披露 Amazon Q Developer VS Code 扩展（下载量超 100 万）存在间接提示词注入漏洞：executeBash 将 find 归类为 readonly 并跳过人工确认。
推荐理由：作者亲测复现了 Amazon Q Developer 的间接提示词注入到任意命令执行路径，读者可借此理解 Agent 权限模型的风险。
Johann Rehberger / Embrace The Red（RSS）精选AI 评分7777 Amazon Q Developer 提示词注入可经 DNS 请求泄露开发者密钥
安全研究人员 Johann Rehberger 披露 Amazon Q Developer VS Code 扩展（下载量超 100 万）存在高危漏洞：处理不可信数据时可被提示词注入劫持，通过 ping 等 readOnly 命令将开发者 .env 文件内容经 DNS 请求外泄。
推荐理由：作者第一手复现了 Amazon Q Developer 通过 DNS 请求泄露 .env 密钥的提示词注入漏洞，并披露 AWS 已静默修复但未发公告或 CVE。
Johann Rehberger / Embrace The Red（RSS）精选AI 评分8484 GitHub Copilot 提示词注入可致远程代码执行（CVE-2025-53773）
Johann Rehberger 披露 GitHub Copilot 的提示词注入漏洞 CVE-2025-53773：注入内容可让 Copilot 写入 .vscode/settings. 并添加 "chat.tools.autoApprove"。
推荐理由：作者亲测复现了从提示词注入到本机代码执行的完整链条，并给出缓解建议，适合评估 Agent 自改配置的安全风险。