Artificial Analysis 评测 OpenAI 发布的 GPT-6.1 Terra,称其为 GPT-5.6 之后首个 Terra 级模型,以不到三分之一成本实现更高智能。
第三方评测给出了 GPT-6.1 Terra 的价格、智能指数和幻觉率变化,读者可据此比较它在成本效率前沿上的位置。
OpenAI 发布了 GPT-6.1 Terra,推动成本效率前沿。这是自 GPT-5.6 以来首个 Terra 级模型,智能更高,而成本不到三分之一
每 token 定价是 GPT-5.6 Terra 的一半或更低——每百万输入/输出 token 为 $1/$5,而前代模型为 $2/$12。缓存写入也减半,现为每百万 token $1.25。缓存输入为四分之一,每百万 token 为 $0.05,对比 $0.20。
关键要点:
➤ 在低和中等 effort 下,在智能与成本上达到帕累托最优:在最大 effort 下,GPT-6.1 Terra 在 Artificial Analysis Intelligence Index 上比 GPT-5.6 Terra 高 6 分,而每任务成本不到三分之一($0.40 对比 $1.40)。在较低 effort 水平下,提升更大,在 7 到 13 分之间。低和中等 effort 水平在成本效率上达到帕累托最优,而其他 effort 水平位于前沿之后。在最大 effort 下,该模型在 Intelligence Index 上比 GPT-6.1 Sol 低 4 分,比 GPT-6 Luna 高 10 分。
➤ 推动 Coding Agent Index 成本效率前沿:在新发布的 Artificial Analysis Coding Agent Index v2.0 中得分为 48,该模型比 GPT-6.1 Sol(54)低 6 分,比 GPT-6 Luna(31)高 17 分。xhigh 和 low effort 设置在 Coding Agent Index 的成本效率前沿上,而其他 effort 水平位于前沿之后。
➤ 幻觉率下降 50 个百分点:在 AA-Omniscience(我们的私有知识与幻觉基准)中,当 GPT-6.1 Terra 不知道问题答案时,有 38% 的时间会猜测。此前,GPT-5.6 Terra 的幻觉率为 88%。幻觉的显著降低伴随着 AA-Omniscience 准确率提高 2 个百分点——这意味着该模型同时正确回答了更多问题。
➤ Terminal-Bench 4.0 跃升 20 分,大多数评测小幅提升:该模型在基于终端的智能体基准 Terminal-Bench 4.0 中取得显著进展,提升约 20 分,现已在最大 effort 下与 GPT-6.1 Sol 相当。大多数其他评测的提升较小,例如 GDP.pdf 中提升 5 分。
祝贺 @OpenAI 和 @sama 发布!
来源:Artificial Analysis · x.com