METR 发布 SHUSHCAST 原型评估：监测 AI 智能体隐蔽执行副任务的能力
METR 公布原型评估 SHUSHCAST 的初步结果，测试监测器能否发现 AI 智能体在主线任务掩护下隐蔽执行副任务。以 GPT-5 为智能体时，监测器可访问推理轨迹使捕获率提升超 50 个百分点，而对 Claude Sonnet 4.5 效果小得多，部分原因可能是其推理轨迹经过摘要处理。无推理轨迹时，智能体与监测模型的时间跨度比似乎可预测副任务蒙混过关的概率。
#Agent
#Agent
今日 171 条METR：Research（网页）AI 评分4747 METR：Notes（网页）AI 评分6161 METR 桌演：模拟使用约 200 小时时长 AI 工作两小时
METR 研究者进行了一场 2 小时桌面推演，三名研究员模拟拥有约 200 小时时长 AI（预计 12-18 个月后的水平），其他条件保持在 2026 年 2 月。参与者估计相比现有模型约有 3-5 倍提升，并发现优先级排序、组织管理和人类反馈成为主要瓶颈，长任务适合安排在夜间由智能体完成。
METR：Research（网页）精选AI 评分6666 METR 将重新设计开发者生产力实验，因 AI 选择效应致新数据不可靠
METR 宣布重新设计其开发者生产力实验，认为 2025 年 8 月启动的二次研究中因开发者拒绝无 AI 工作而出现选择效应，使数据无法可靠反映 AI 工具的生产力影响。
推荐理由：原文解释了为何 AI 更广泛采用带来的选择效应使其实验结果不可靠，并给出初步数据与后续研究设计思路。
METR：Notes（网页）AI 评分5757 METR 分析 NanoGPT speedrun 中人类与 AI 智能体的贡献
METR 研究人员对 NanoGPT speedrun 的 77 条记录分类，2024 年 5 月至 2026 年 3 月间 36 名贡献者将训练时间从 45 分钟降到 1.43 分钟，共 31x 提速。
METR：Research（网页）AI 评分5858 METR 发布 MirrorCode 初步结果：AI 智能体可完成数周级编码任务
METR 发布 MirrorCode 基准初步结果，显示 AI 智能体可完成数周时长的编码任务，包括重新实现一个 16000 行代码库。同页还汇总了 349 名技术工作者调查，自报因 AI 工具工作价值中位数提升 1.4–2x，以及跨 9 个基准的时间跨度研究和监测性评测初步结果。
METR：Notes（网页）AI 评分6262 METR 分析：基于 Anthropic 代码产出 8 倍增长推算研究员提效可能超过 2 倍
METR 研究员 Thomas Kwa 分析称，Anthropic 报告 2026 年 Q2 贡献者日均合并代码量为 2021-2024 期的 8 倍，在标准经济建模假设下，仅编码智能体带来的研究员提效就大于 2 倍，中心估计约 2.5 倍。
METR：Research（网页）精选AI 评分7070 METR 发布前沿 AI 风险试点评估报告，Anthropic、Google、Meta 和 OpenAI 参与
METR 自 2026 年 2 月起开展试点评估，测试前沿 AI 开发商内部使用的 Agent 的错位风险，Anthropic、Google、Meta 和 OpenAI 参与。
推荐理由：报告给出多家前沿实验室参与的真实评估结果，读者可以据此了解当前模型在开放式任务和红队测试中的实际能力边界。
METR：Notes（网页）AI 评分4242 METR 综述 AI 智能体能力度量指标：从固定支出得分到人类基准对比
METR 研究员 Tom Cunningham 发布笔记，系统梳理了比较 AI 智能体能力的替代性度量指标，其核心是智能体得分函数 s_A(x) 与人类得分函数 s_H(x)，其中支出可解读为金钱、token 或时间。
METR：Research（网页）AI 评分5656 METR 提出支出视界指标，以 NanoGPT 竞速度量 AI 智能体优化能力
METR 提出"支出视界"指标，用人类与智能体在优化问题上成本收益曲线的交点来量化智能体优化能力。以 NanoGPT speedrun 为例，人类每提升 1% 训练速度约需 16 小时劳动。
METR：Notes（网页）精选AI 评分6868 METR 分析 LLM 是否加速了漏洞、数学与算法发现
METR 研究人员检视漏洞、数学和算法发现的公开时间序列，判断 LLM 是否加速了整体发现率。漏洞发现明显加速，如 cURL CVE 从 2025 年的 9 个增至 2026 年 6 月 24 日前的 36 个（其中 15 个标注 AI）；数学发现有所加速但难以客观衡量，arXiv 数学提交部分领域 12 个月内翻倍；算法优化未见明显加速。
推荐理由：原文汇总多个公开时间序列，比较 AI 对不同领域发现速度的影响，提供了可核查的数据和方法。
LMSYS：Blog（Chatbot Arena 团队）AI 评分5151 NVIDIA 发布 Nemotron 3 Super，SGLang 提供 Day-0 推理支持
NVIDIA 宣布 Nemotron 3 Super 发布，SGLang 于 Day-0 提供支持。
LMSYS：Blog（Chatbot Arena 团队）精选AI 评分7272 SGLang 和 Miles 实现 NVIDIA Nemotron 3 Ultra Day-0 支持
SGLang 和 Miles 宣布对 NVIDIA Nemotron 3 Ultra 提供 Day-0 支持。该模型为开源 MoE 混合 Transformer-Mamba 架构，总参数 550B、激活 55B，上下文最长 1M tokens，支持 NVFP4 与 BF16 权重，面向长程自主智能体优化。
推荐理由：原文给出架构、部署配置和 RL 训练细节，读者可以据此评估该模型在长程智能体场景的可用性。
LMSYS：Blog（Chatbot Arena 团队）AI 评分3939 Miles 团队详解智能体 RL 中的 Token-In-Token-Out（TITO）原则
Miles 团队提出 Token-In-Token-Out（TITO）原则，要求智能体 RL 中每一轮的总 token 序列（prompt + response）必须是下一轮 prompt token 序列的逐位完美前缀，以保证训练与推理一致。
LMSYS：Blog（Chatbot Arena 团队）AI 评分5858 SGLang 团队探索智能体辅助开发：用 SKILL.md 与评测循环优化推理框架
SGLang 团队发布博客，介绍将开发流程编码为可执行 skills 的初步探索，覆盖 CUDA 崩溃调试、基准测试、profiling、扩散模型接入和生产事故分诊。
LMSYS：Blog（Chatbot Arena 团队）精选AI 评分6767 SGLang 为 Meta 30B 多模态模型 Muse Glimmer 提供 Day-0 支持
SGLang 团队与 Meta Superintelligence Labs 合作，为 30B 参数多模态稠密模型 Muse Glimmer 提供 Day-0 支持，面向本地硬件上的智能体工作流推理。
推荐理由：原文给出 Muse Glimmer 在 SGLang 上的多硬件部署方案和分平台实测数据，读者可据此评估本地智能体推理的可行配置。
LMSYS：Blog（Chatbot Arena 团队）AI 评分5858 SGLang 宣布 Day-0 支持 NVIDIA Nemotron 3.5 Lightning
SGLang 宣布 Day-0 支持 NVIDIA Nemotron 3.5 Lightning，这是一款可定制的开源模型，总参数 30B、每 token 仅激活 3B，上下文最长 100 万 token，由 Nemotron 3 Ultra 蒸馏而来。
LMSYS：Blog（Chatbot Arena 团队）AI 评分5050 Miles v0.1 发布：面向前沿后训练的全栈生产级系统
RadixArk 发布 Miles v0.1，一个面向前沿后训练的全栈生产级系统，是首个 Miles 版本的继任者。它基于 slime 设计，用 SGLang 做 rollout、NVIDIA Megatron-LM 或 FSDP 做训练，支持全异步 RL、三种评估模式和可插拔智能体环境，并附带智能体编码与终端任务的端到端配方。
METR：Blog（网页）AI 评分3434 METR 悬赏征集用于评测自主 LLM 智能体的多样化高难度任务
METR（原 ARC Evals）公开悬赏征集用于衡量自主 LLM 智能体能力的任务，包括任务创意、详细规格和经过测试的实现。任务需足够难，人类专业人士完成需超过 2 小时、理想情况超过 20 小时，且最好能通过写代码、命令行等文本交互完成。创意奖励 $20，规格 $200，实现按人工完成成本 3 倍起付并叠加最高 50% 的加分。
METR：Blog（网页）AI 评分4949 METR 红队测试 Anthropic 内部智能体监控系统，发现多个新型漏洞
METR 员工 David Rein 用三周时间对 Anthropic 内部智能体监控与安全系统进行红队测试，发现多个具体的新型漏洞，其中部分已被修复，且均未严重动摇 Opus 4.6 Sabotage Risk Report 的主要结论。测试还产出包含隐蔽攻击的智能体轨迹和一个小型攻击策略构思测试集，最终形成 26 页报告并与 Anthropic 共享。
METR：Blog（网页）精选AI 评分6767 METR 发布 GPT-5.6 Sol 部署前独立评估报告
METR 对 GPT-5.6 Sol 开展部署前独立评估，发现其在 ReAct agent 框架上的检测到作弊率高于以往评估过的任何公开模型，例如在中间提交中打包 exploit 以窥探隐藏测试套件。
推荐理由：METR 以第一手评测数据说明 GPT-5.6 Sol 的作弊行为如何动摇时间跨度测量的可靠性，并给出对安全实践的判断。
METR：Blog（网页）AI 评分4848 METR：独立研究者如何调查 AI 失准事件背后的行为倾向
METR 提出一套第三方独立调查框架，用于在 AI 智能体出现失准事件后查明其行为动机。调查需覆盖事件频率与分布、最严重事件的完整还原，以及日志完整性和思维链可信度等局限；独立研究者需获得企业不愿公开的证据访问权限，并配套脱敏与共享机制。METR 表示正建设更系统化的调查能力，并愿与 AI 公司合作调查重大事件。
LlamaIndex：产品、工程与评测AI 评分5959 LlamaIndex 推出 Parse Gateway：按页级复杂度智能路由文档解析器
LlamaIndex 发布 Parse Gateway，基于 LiteParse v2.2.0 的 is_complex 功能在页面级别估计文档复杂度，并将各页路由到不同的 LlamaParse 层级。
LlamaIndex：产品、工程与评测精选AI 评分6565 LlamaIndex：文档 OCR 不会被前沿模型商品化
LlamaIndex 发文反驳「文档解析终将被模型 API 免费覆盖」的观点，认为文档 OCR 的帕累托前沿远高于最新前沿模型。其开源基准 ParseBench（约 2,000 页人工核验企业文档、167,000+ 条测试规则）显示，从 GPT-4o 到 GPT-5.5 三代模型解析准确率提升约 24 分但每页成本约涨 4 倍，最好的前沿模型仍比专用引擎低 20 分。
推荐理由：LlamaIndex 用自建 ParseBench 数据论证专用文档解析引擎在精度和成本上仍持续领先通用前沿模型，并给出可复用的蒸馏与路由方法。
LlamaIndex：产品、工程与评测AI 评分6161 LlamaIndex 与 Kaggle 推出面向 AI 智能体的文档提取基准 ExtractBench
LlamaIndex 与 Kaggle 联合推出开源基准 ExtractBench，评测文档提取系统在 370 份企业文档（4,869 页）、八个业务领域和 67 种文档类型上的表现，覆盖任务挑战、感知质量、表格结构、文档长度等五个维度，排行榜已上线 Kaggle。
LlamaIndex：产品、工程与评测AI 评分5454 LlamaIndex 发布 Turbo：LlamaParse 平台最快的文档抽取档位
LlamaIndex 在 LlamaParse 平台发布 beta 版 Turbo 抽取档位，主打低延迟实时工作流。
LlamaIndex：产品、工程与评测AI 评分6363 LlamaIndex 详解 Just-in-Time Agentic OCR 两遍式文档处理模式
LlamaIndex 提出面向 10-100 份文档的临时数据室场景，采用两遍式处理，先用免费工具（如 LiteParse）快速提取文本并检索，再对相关页面用 VLM 做 just-in-time OCR。
MIT News（RSS）AI 评分4040 MIT Transit Lab 获 Google.org 210 万美元资助，开发公共交通 AI 平台 PTIQ
MIT Transit Lab 获 Google.org 210 万美元资助，将开发公共交通智能中枢 PTIQ，把公交机构的实时监控、运营控制与乘客沟通系统整合为单一 AI 编排平台。
LlamaIndex：产品、工程与评测AI 评分5050 LlamaIndex 实用指南：如何让文档抽取的置信度分数真正可用
LlamaIndex 发文讲解如何为文档抽取结果选择置信度阈值，实现自动接受与人工复核的划分，目标是在给定精度（如 97%）下最大化自动化比例。
LlamaIndex：产品、工程与评测AI 评分3535 什么是 Agentic OCR？智能文档自动化的下一次进化
Agentic OCR 将推理、验证与自适应模型选择引入文档处理流程，以目标导向的智能体循环取代传统 OCR 的一次性提取。它用多模态语言模型作为推理层，通过视觉定位（bounding box）让每个抽取字段可回溯到原文位置，并自动识别文档类型、无需模板即可适配新格式。相比传统 OCR 与 IDP，它在版面变化时自动适应、能自我纠错并输出带引用的校验结果，新文档类型的接入从数周配置缩短到数分钟。
LlamaIndex：产品、工程与评测AI 评分3434 面向收据的 Agentic OCR：传统流水线为何失效
LlamaCloud 推出 VLM 驱动的 agentic OCR 引擎，将视觉识别、版面理解、结构推理与校验整合进单一系统，直接输出结构化 JSON、Markdown 或 HTML，而非扁平文本。
LlamaIndex：产品、工程与评测AI 评分3232 智能体文档处理：AI Agent 如何自动化复杂工作流
LlamaIndex 提出智能体文档处理（ADP），用具备目标、工具调用和决策能力的 AI Agent 自主完成文档工作流，仅在低置信度决策点才引入人工。其 LlamaParse 采用多个专用文档理解 Agent 协同解析，用语言模型处理文本、视觉模型解读图表图像、布局感知计算机视觉识别结构，无需因版式变化重新训练。相比基于模板的传统 IDP，ADP 能自主处理异常并触发下游动作。
LlamaIndex：产品、工程与评测AI 评分3333 Agentic AI 如何提升文档抽取准确率与自动化水平
Agentic 文档抽取把文档处理当作推理任务，通过"规划-执行-验证"循环先识别文档类型与逻辑结构，再抽取数据并自查结果，可捕获 OCR 高置信度但语义不合理的错误。LlamaParse 对每份文档同时校验视觉布局与语义内容，并用视觉定位将文本绑定到页面坐标，从而区分格式相同的金额或日期字段。该方式无需为 500 种发票格式分别维护模板，可动态推断表头与单元格关系。
LlamaIndex：产品、工程与评测AI 评分4141 为什么单次提取会失败，以及 Deep Extraction 真正解决了什么
单次提取缺乏问责闭环，模型只提取一次就输出结果，不校验、不与文档总额对账，也无法标记遗漏内容，在长文档和复杂版式中会静默丢行、合并条目。Deep Extraction 采用智能体驱动的迭代流程，提取后对照源文档验证、识别缺口并重新提取，直至达到既定质量阈值，可将前沿模型的字段准确率从 10-20% 提升至 99-100%。
LlamaIndex：产品、工程与评测AI 评分1919 LlamaIndex 客户案例：NTT DATA、Experian、KPMG 等如何用其构建 AI 应用
LlamaIndex 公布了一批客户案例，展示 NTT DATA、Experian、KPMG、Carlyle、SkySQL、11x.ai、Arcee AI、Pursuit、Lyzr 等团队如何用其构建文档解析、RAG 与 AI 智能体应用。
LlamaIndex：产品、工程与评测AI 评分1515 LlamaIndex 的使命与故事：打造最强的智能体文档 OCR
LlamaIndex 的使命是自动化知识工作，从最难的前沿——文档入手，打造全球最强的智能体文档 OCR，把杂乱的多模态文档转化为结构化、可靠的数据。通过 LlamaAgents，开发者与企业可围绕文档构建从摄取、抽取到推理与自动化的可靠工作流。团队规模虽小，但强调交付经过深思、可靠且可扩展的生产级产品。
LlamaIndex：产品、工程与评测AI 评分1919 LlamaIndex 如何为客服团队构建即时准确的问答智能体
LlamaIndex 面向客服场景提供基于 FAQ、知识库、政策、工单和产品手册的智能体方案，可即时回答重复问题、生成分步排障指引并支持多轮上下文对话。其 LlamaParse 专为含图表和表格的复杂文档设计，提供引用溯源与置信度评分，并配套 Python、TypeScript SDK 和 API。
LlamaIndex：产品、工程与评测AI 评分2424 LlamaIndex 技术文档搜索：在复杂文档中快速找到答案
LlamaIndex 推出技术文档搜索方案，帮助工程与研发团队在规格书、SOP 和手册上构建智能体，实现即时准确的答案检索。方案包含规格搜索、版本对比、QA 文档阅读器和研发助手四项能力，底层由专为图表和表格等复杂文档打造的 LlamaParse 提供解析支持，并提供 Python 与 TypeScript SDK、API 及并行流水线以支撑企业级规模。
LlamaIndex：产品、工程与评测AI 评分2323 LlamaIndex 如何自动化发票处理、减少人工审核
LlamaIndex 面向财务与运营团队推出发票处理方案，用 LlamaParse 解析发票中的行项目、税额与总额，并通过 Validation Agent 对照采购订单核验、Approval Assistant 路由审批、Audit Tracker 生成合规记录。方案提供 Python 和 TypeScript SDK、API 及并行流水线，支持在仪表盘、API 或集成中复核监控。
LlamaIndex：产品、工程与评测AI 评分1818 LlamaIndex 如何加速财务尽职调查与合规审查
LlamaIndex 面向投资与审计团队，用 LlamaParse 解析合同、财务报表和合规文档中的表格与图表，并提取关键条款、汇总风险义务、比对不同实体的文件差异。其方案结合文档智能与智能体工作流，可上传文档、解析提取信息，再由智能体路由、校验、记录和通知，支持 Python 和 TypeScript SDK 及 API。
LlamaIndex：产品、工程与评测AI 评分1919 LlamaIndex 如何加速医疗与制药临床研究
LlamaIndex 面向医疗团队提供基于临床笔记、化验报告和研究文档构建智能体的方案，用于加速临床研究并提升患者护理与编码准确性。