Anthropic 工程博客详解 AI Agent 评测：评测器类型、任务设计与从零到一的建设路线

Anthropic 工程博客发布长文，系统讲解如何为 AI Agent 构建可靠的自动化评测。文章定义了任务、试验、grader、transcript、评测框架等核心概念，对比代码型、模型型和人工三类评测器的优劣，分别给出编码、对话、研究和计算机使用四类 Agent 的评测方法，并解释 pass@k 与 pass^k 两种指标在非确定性下的差异。