凡人小北· @frxiaobei · X·· 12 小时前AI 评分64
AI 导读
SemiAnalysis 发布 GDPx 基准,用 206 个任务衡量模型在芯片设计、网络安全、金融、法律、量化交易等高价值领域的智能体能力,最强模型仅得 12%。
正文 · 原文
最强的模型去干真正值钱的活,只拿了 12%。
SemiAnalysis 今天发了个新评测叫 GDPx,206 个任务,覆盖芯片设计、网络安全、金融、法律、量化交易这些最值钱的领域。Opus 5.5 排第一,12.0%;Gemini 4 Carbon 10.9%;GPT-6 Astra 9.6%。金融和法律那几类,几乎所有模型都是 0 分。
量化那部分12 次运行里有 10 次赚得比参考模型多,但只有 2 次拿到 0.5 分以上,不少是靠多扛风险,或者在验证集上调过头换来的。
模型分数越来越接近之后,怎么选模型?很少能看到像 GDPx 这样把每个任务的成本排在一起的 有点意思。
Today we’re releasing GDPx, a benchmark for measuring agentic capabilities across the most valuable domains. GDPx is a true frontier-level benchmark: even the best model scores just 12% (1/7)🧵在 X 查看被引用的帖子
来源:凡人小北 · x.com