METR：Research（网页）·· 13 小时前AI 评分47
METR 更新通用能力评估：新增约 50 项任务与人类基线，公布 GPT-4o 和 Claude 初步结果
An update on our general capability evaluations August 6, 2024 More tasks, human baselines, and preliminary results for GPT-4 and Claude. Read more
AI 导读
METR 发布通用自主能力评估更新，新增约 50 项自动评分任务，覆盖网络安全、软件工程和机器学习等技能，并收集约 200 条人类基线。初步结果显示，基于 Claude 3.5 Sonnet 和 GPT-4o 的智能体完成任务的比例与人类基线者约 30 分钟的表现相当；GPT-4o 智能体可完成约 60% 人类 15 分钟内完成的任务，以及约 10% 人类耗时超 4 小时的任务。
来源：METR：Research（网页） · metr.org