跳到正文

全部动态

今日 172 条
9月30日周三
  1. METR:Research(网页)73

    METR 发布 GPT-5 灾难性风险评估:三种威胁模型均不太可能构成重大风险

    METR 评估认为 GPT-5 不太可能通过 AI 研发自动化、恶意自我复制或战略破坏构成灾难性风险。其在智能体软件任务上的 50% 时间视界约为 2 小时 17 分钟(95% CI 65 分钟至 4 小时 25 分钟),高于 OpenAI o3 的 1 小时 30 分钟。

    推荐理由:METR 作为评估方亲历全程,报告给出时间视界测量、奖励作弊复查和情境 awareness 证据,可帮助读者理解第三方前沿模型风险评估的做法与局限。

  2. METR:Notes(网页)47

    METR 研究者的简化 AI 时间线模型:预测约 2032 年底实现 99% AI 研发自动化

    METR 研究者 Thomas Kwa 提出一个仅 8 个参数的简化模型,预测在现有算力增长与算法进步速度下,AI 研发将在 2032 年底实现超过 99% 的自动化。该模型基于 33 参数的 AI Futures 模型(AIFM)简化而来,采用更保守的假设,多数模拟显示到 2035 年 AI 效率提升 1000 倍至 1000 万倍、研究产出提升 300 至 3000 倍。

  3. METR:Notes(网页)62

    METR 用 5305 条 Claude Code 转录估算编码智能体时间节省因子约 1.5x 到 13x

    METR 研究员 Amy Deng 用 7 名技术员工 2026 年 1 月生成的 5305 条 Claude Code 转录,以 LLM 评审估算无 AI 情况下的任务耗时,得出时间节省因子约 1.5x 到 13x。作者认为该指标因任务替代、任务选择效应和员工专业化等因素而偏高,是真实生产力提升的软上限,并观察到更高的智能体并发度与更高的时间节省因子相关。

  4. METR:Research(网页)43

    METR 与 FRI 试点研究:AI 研发自动化加速的预测结果

    METR 与 Forecasting Research Institute 对 8 位 AI 预测领域专家和 10 位“超级预测者”开展试点调查,评估 AI 自动化 AI 研发带来的加速与社会影响。调查设定:若 AI 在 2027 年前在 AI 研发任务上达到顶尖人类研究员水平,出现 AI 进展速度提升 3 倍以上的概率;以及这种加速是否会导致全球能源消费一年内翻倍或减半等极端后果。

  5. METR:Research(网页)47

    METR 发布 SHUSHCAST 原型评估:监测 AI 智能体隐蔽执行副任务的能力

    METR 公布原型评估 SHUSHCAST 的初步结果,测试监测器能否发现 AI 智能体在主线任务掩护下隐蔽执行副任务。以 GPT-5 为智能体时,监测器可访问推理轨迹使捕获率提升超 50 个百分点,而对 Claude Sonnet 4.5 效果小得多,部分原因可能是其推理轨迹经过摘要处理。无推理轨迹时,智能体与监测模型的时间跨度比似乎可预测副任务蒙混过关的概率。

  6. METR:Notes(网页)51

    METR 分析建模假设对时间视界结果的影响

    METR 研究者 Alexander Barry 检验不同建模选择对时间视界(time horizon)估计的影响。多数合理替代模型会降低近期模型的 50% 时间视界估计(如替代拟合可使 Opus 4.6 下降最多 35%、80% 上升最多 100%),但基本仍落在很宽的置信区间内;修正任务长度噪声可能使前沿模型 50% 结果下降约 30%(不确定性 0–60%)。

  7. METR:Research(网页)66

    METR 将重新设计开发者生产力实验,因 AI 选择效应致新数据不可靠

    METR 宣布重新设计其开发者生产力实验,认为 2025 年 8 月启动的二次研究中因开发者拒绝无 AI 工作而出现选择效应,使数据无法可靠反映 AI 工具的生产力影响。

    推荐理由:原文解释了为何 AI 更广泛采用带来的选择效应使其实验结果不可靠,并给出初步数据与后续研究设计思路。

  8. METR:Research(网页)70

    METR 发布前沿 AI 风险试点评估报告,Anthropic、Google、Meta 和 OpenAI 参与

    METR 自 2026 年 2 月起开展试点评估,测试前沿 AI 开发商内部使用的 Agent 的错位风险,Anthropic、Google、Meta 和 OpenAI 参与。

    推荐理由:报告给出多家前沿实验室参与的真实评估结果,读者可以据此了解当前模型在开放式任务和红队测试中的实际能力边界。

  9. METR:Notes(网页)68

    METR 分析 LLM 是否加速了漏洞、数学与算法发现

    METR 研究人员检视漏洞、数学和算法发现的公开时间序列,判断 LLM 是否加速了整体发现率。漏洞发现明显加速,如 cURL CVE 从 2025 年的 9 个增至 2026 年 6 月 24 日前的 36 个(其中 15 个标注 AI);数学发现有所加速但难以客观衡量,arXiv 数学提交部分领域 12 个月内翻倍;算法优化未见明显加速。

    推荐理由:原文汇总多个公开时间序列,比较 AI 对不同领域发现速度的影响,提供了可核查的数据和方法。

  10. METR:Blog(网页)45

    METR 外部审查 Anthropic 2025 夏季破坏风险报告

    METR 发布对 Anthropic 2025 夏季试点破坏风险报告的外部审查,认同 Claude Opus 4 和 4.1 造成灾难性破坏的风险很低。METR 认为报告证据总体清晰完整,但指出 Claim 2(Opus 4 无法在复杂任务中隐藏推理)对任务范围界定不够精确,可能导致对模型错位行为倾向和监控可靠性的结论过于自信。METR 还建议加强事件追踪、补充测试和训练数据过滤。

  11. METR:Blog(网页)35

    METR 发布《前沿 AI 安全政策共同要素》2025 年 12 月更新版

    METR 更新《前沿 AI 安全政策共同要素》报告,目前已有 Anthropic、OpenAI、Google DeepMind、Meta、xAI、Nvidia 等 12 家公司发布前沿 AI 安全政策。报告梳理各政策的共同要素,包括能力阈值、模型评估、模型权重安全与部署缓解措施,并新增对欧盟 AI 法案通用 AI 行为准则及加州 SB 53 相关指引的引用。

  12. Liquid AI 模型与工程博客(网页)46

    LFM-1B-Math:小模型能否成为简洁推理者?

    Liquid AI 基于 1.3B 的 LFM 模型提出一套后训练方案,通过约 4.5M 样本的 SFT 加短程强化学习,得到 LFM-1.3B-Math,在有限回复预算下实现较强数学推理。SFT 采用 3e-4 学习率、训练 3 个 epoch(约 1000 亿 token),首轮即提升平均性能 36%,后两轮再增 7.6%。该模型无需数学专用预训练,面向边缘设备等资源受限部署。

  13. Nature:Machine Learning 主题(RSS)44

    Ataraxos:面向不完全信息博弈的可扩展决策 AI

    针对棋盘战争游戏 Stratego 设计的 AI 系统 Ataraxos,为强化学习与搜索在不完全信息下的结合建立了一套有效设计模式。该成果发表于 Nature,指向战略决策领域长期追求的目标:在大量隐藏信息条件下仍能实现可扩展的决策。

  14. Epoch AI:研究、数据与评测52

    Epoch AI 上线 AI 芯片销售数据集并提供 CSV 下载

    Epoch AI 的 AI chip sales 数据页追踪并估算主要 AI 芯片的销量与出货量,以及估算的总算力、成本和功耗。数据主要来自公司财报评论、分析师估算和媒体报道,提供按芯片类型、组织和按芯片时间线的 CSV 及 ZIP 打包下载,更新至 Aug. 27, 2026,并附 H100e 算力口径等常见问题说明。

  15. Epoch AI:研究、数据与评测29

    Epoch AI 如何识别与标注 ML 硬件数据集

    Epoch AI 通过标注知名 AI 模型训练所用的芯片来识别 ML 硬件,并补充了虽未见于这些系统训练记录、但依据描述、支持的数值格式或同族关系可判定为 ML 用途的硬件。该数据集为每块芯片记录数据手册信息,涵盖算力、裸片面积等,并借助新闻报道或硬件价格档案补充发布时价格;并非所有硬件都有完整或适用的信息,因此部分字段常为空。