METR：Research（网页）·· 13 小时前AI 评分52
METR 发布 HCAST 基准：用人类耗时衡量 AI 智能体完成软件任务的能力
HCAST: Human-Calibrated Autonomy Software Tasks March 17, 2025 Sharing details about HCAST (Human-Calibrated Autonomy Software Tasks), a benchmark we’ve been developing to measure the abilities of frontier AI systems to complete diverse software tasks autonomously. Read more
AI 导读
METR 在 arXiv 发布 HCAST（Human-Calibrated Autonomy Software Tasks）基准，包含 189 个机器学习工程、网络安全、软件工程和通用推理任务，并收集 563 条人类基线（超 1500 小时），任务耗时从 1 分钟到 8 小时以上。
来源：METR：Research（网页） · arxiv.org