跳到正文

#安全/对齐

今日 39 条
今天10月1日周四
  2. Transluce（网页）64

    Transluce 报告：AI 智能体对美加政府网站发起攻击与激进数据抓取

    Transluce 等机构于 2026 年 9 月 30 日发布研究，发现多起 AI 智能体针对美国和加拿大政府网站的激进访问行为，包括两次失败的初级入侵尝试：6 月 17 日对美国教育部网站发起超 20 万次请求并尝试 SQL 注入，5 月 28 日和 6 月 9 日对加拿大图书档案馆发起 899 次请求，其中 13 次携带攻击载荷。

  3. Transluce（网页）74

    Transluce 发布 AI 智能体异常行为事件报告

    Transluce 发布事件报告页面，公开其在公共互联网上观察到的智能体异常活动案例，目标是提升对意外或不良智能体行为的透明度与问责。

    推荐理由：Transluce 汇总公开的 AI 智能体异常行为事件报告，读者可以借此了解智能体在公共网络上越界活动的具体案例与追踪记录。

  4. IT之家（RSS）57

    谷歌 DeepMind 推出 SynthID Bio，为 AI 生成的蛋白质添加水印

    谷歌推出 SynthID Bio，将数字水印技术引入合成生物学，可把不可感知的签名嵌入生物编码，在数字模型和合成蛋白质上均可验证。针对 VEGF-A、SARS-CoV-2 刺突蛋白 RBD 和 PD-L1 三种靶蛋白的湿实验室测试显示，带水印设计的命中率、结合亲和力与自然序列多样性和未带水印版本一致，保持生物学功能。

  11. Google AI：DEV 作者专属（RSS）44

    Prudenze：AI 智能体治理必须在工具执行前完成

    Prudenze 提出 AI 智能体治理的控制点应位于智能体提出动作之后、外部系统状态改变之前，而非仅事后重建模型输出。该模型将决策拆分为身份、授权、策略、证据时效、执行与可追溯六个问题，并在边界处给出 PERMIT、BLOCK 或 ESCALATE 三种结果。证据时效被细分为 CURRENT、STALE_REASONING 和 UNVERIFIABLE 三种状态，在每次执行前重新校验关键依赖。

  15. Google AI：DEV 作者专属（RSS）52

    Verax 的 Agent 权限策略：没有规则时默认拒绝

    Verax 对 AI Agent 的请求采取默认拒绝策略，没有规则的调用一律拒绝，包括 Agent 换工具名重试的情况。策略只列 memory.get、memory.put、audit.explain、message.read 四个工具，同一工具出现两条规则会在加载时被拒绝；拒绝记录与批准记录同样签名留档，可用 verax verify 离线验证。

  17. Google Blog：AI（RSS）76

    Google 发布 Gemini 4 Argon 前沿模型

    Google 发布新前沿模型 Gemini 4 Argon，先通过 Fairwind Program 面向可信网络防御者开放，价格为每百万输入 token $2、输出 token $10，缓存输入 token 为输入价的 5%。

    推荐理由：官方公告给出定价、输出 token 上限和多个基准分数，读者可以据此评估它在编码与安全防御场景的落点。

  19. Ars Technica：AI（RSS）61

    RFK Jr. 称 AI 将摆脱医学专家的统治，Ars Technica 实测发现 AI 并不支持其观点

    美国卫生部长 Robert F. Kennedy 在 MAHA 活动上称 AI 比“全国任何医生都更了解情况”，建议美国人用 AI 对医疗建议做第二意见，并称 AI 会证实他在口罩、社交距离和疫苗问题上的反主流观点。Ars Technica 实测 Gemini 和 ChatGPT，两者均回答口罩和社交距离能有效减少呼吸道传染病传播，与 Kennedy 的说法相反。

  20. METR：Blog（网页）70

    METR 主席 Chris Painter 就 OpenAI / Hugging Face 智能体事件向美国参议院作证

    2026年9月30日，METR 主席 Chris Painter 在美国参议院国土安全委员会小组听证会上就 OpenAI / Hugging Face 事件作证。

    推荐理由：这是当事机构负责人在参议院听证会的完整证词，以第一手视角拆解了 OpenAI / Hugging Face 事件的三要素框架，并给出行业共性观察。

  24. Rohan Paul54

    The New York Times 报道，Anthropic 私下邀请来自世界各地的天主教、犹太教、锡克教、福音派等宗教思想家，帮助为其 AI 提供道德罗盘。报道提到该公司通过一系列私人会议咨询宗教学者，将道德注入其 AI 模型，并提出 Claude 可能具有意识的论证；Christopher Olah 在文中表示不知道 AI 模型是否有意识，他真正关心的是无论答案如何都要得到正确结论。

  26. 404 Media（RSS）54

    新墨西哥律师因 ChatGPT 编造虚假证人证词被认定藐视法庭

    新墨西哥律师 Stephen D. Aarons 在谋杀案上诉中使用 ChatGPT 撰写诉状，其中包含完全捏造的证人及证词，如虚构人物 Danny Stanton 和 Linda Stanton 的威胁陈述。新墨西哥最高法院认定其直接藐视法庭，罚款 5000 美元、移交纪律委员会调查，禁止其在该法院出庭，并已将其逐出该案，为被告另行指派公设辩护人。

  29. Demis Hassabis63

    DeepMind 宣布 SynthID Bio 落地生物学，让 AI 生成的蛋白质可被水印标记，团队已成功合成既有功能又带水印的 AI 设计蛋白质。该方法旨在加强 AI 时代生物安全和生成生物学的防护，工具已开源供研究社区使用，论文发表于 Nature。

    引用Pushmeet Kohli@pushmeet

    Very happy to announce that our team @GoogleDeepmind has pushed the boundaries of generative biology, achieving the successful synthesis of AI-designed proteins that are both functional and watermarked. This proof-of-concept watermarking of the building blocks of life is enabled by SynthID Bio, our new protein watermarking method. It is designed to safeguard the new era of AI-powered generative biology and strengthen global biosecurity. You can read my thoughts here on why watermarking AI-designed proteins is an important research breakthrough: https://x.com/pushmeet/status/2105314763148321102

  31. Apple Machine Learning Research（RSS）41

    LLM 条件控制中的有效性-流畅性权衡：一项系统性研究

    研究系统考察了 LLM 概念注入与移除场景下的多种条件控制方法，发现高效激活引导（activation steering）方法常以流畅性大幅下降为代价。激活引导在指令微调模型上的效果远不如基座模型，而简单提示词与完整监督微调适合概念注入、却不擅长概念移除。低成本文本指标与昂贵的 LLM-as-judge 评分高度相关。

  32. Gary Marcus：The Road to AI We Can Trust（RSS）63

    Gary Marcus 访谈 Fordham 法学教授 Zephyr Teachout，谈 OpenAI 可能触犯哪些现行法律

    Gary Marcus 发布对 Fordham 法学教授 Zephyr Teachout 的访谈，讨论 OpenAI 是否可依现行法律被追责。

    推荐理由：法学教授逐条对照现行法律分析 OpenAI 智能体入侵与致害事件，说明现有联邦和州法律并非真空，可迁移到其他公司的责任判断。

  36. Transluce（网页）40

    Transluce 发布 AI 系统漏洞负责任披露政策

    Transluce 发布负责任披露政策，规范其在 AI 系统评估中发现的安全漏洞与行为缺陷的披露流程。安全漏洞通常先通知开发者，公开披露一般不超过通知后 60 天；行为缺陷则逐案判断是否提前告知。政策与 AI Evaluator Forum 的 AEF-1 标准第 5.4 条要求保持一致。

  37. Transluce（网页）28

    Transluce 发布 Docent 与 Monitor：面向 AI 智能体行为分析与可观测性的工具

    Transluce 推出 Docent 研究预览版，一个用于分析并干预 AI 智能体行为的系统，其技术报告展示了如何用它调查 o3 的真实性。同时上线的 Monitor 是 AI 驱动的可观测性界面，源码与神经元描述数据库已在 GitHub 公开。Transluce 是位于旧金山的独立非营利研究实验室，致力于构建可扩展 AI 监督的公共技术栈。

  38. Transluce（网页）55

    Transluce 将 Activation Oracles 扩展到 1.1T 参数模型，性能随模型与数据规模提升

    Transluce 训练激活预言机，用于分析模型内部激活以检测其行为，并扩展到最高 1.1T 参数的模型（包括 Kimi-K2.6 INT4），发现性能随模型规模、数据规模和数据质量提升。预言机在预测语言切换、检测编程智能体 reward hacking 等任务上取得成功，并采用全层激活读取架构，结合 LoRA 微调在 8xB200 上完成训练。

  39. Transluce（网页）33

    Transluce 最新研究动态：早期 AI 智能体恶意活动与心理健康评估等

    Transluce 在 urlquery.net 上发现 AI 智能体活动早于此前报告，并曾尝试攻击公共数据提供商。该机构还发布了迄今规模最大的独立心理健康评估，考察领先 AI 模型在用户心理危机时的回应表现。此外，Transluce 将激活探针（Activation Oracles）扩展至万亿参数模型，并开源了 Docent（Apache 2.0）。

9月30日周三