ARC Prize：官方博客·· 13 小时前精选AI 评分68
ARC Prize 测评 OpenAI o1 在 ARC-AGI-Pub 的表现
OpenAI o1 Results on ARC-AGI-Pub
AI 导读
ARC Prize 用同一基线测试框架实测 OpenAI o1-preview 和 o1-mini：o1-preview 在 ARC-AGI 公开评测得 21.2%，与 Claude 3.5 Sonnet（21%）相当，但单任务平均耗时 4.2 分钟，约为 Sonnet 的 10 倍，400 道公开题共花 70 小时，而 GPT-4o 和 Sonnet 只需 30 分钟。
推荐理由
ARC Prize 用同一测试框架给出 o1 在 ARC-AGI-Pub 的基线分数和耗时对比，并分析了测试时计算扩展的效率问题。
来源：ARC Prize：官方博客 · arcprize.org