跳到正文

#评测/基准

今日 12 条
今天10月1日周四
  1. Artificial Analysis67

    Artificial Analysis 评测称 GPT-6.1 Sol 推高了 OpenAI 模型的成本效率前沿。max effort 下每 Intelligence Index 任务成本 $0.72,不到 GPT-6 Astra($3.26)的四分之一,比 GPT-6 Sol($1.04)低 31%,比 GPT-5.6 Sol($1.99)低 64%。

    推荐理由:第三方评测给出 GPT-6.1 Sol 与多款前代模型的具体成本对比数字,读者可据此评估 OpenAI 模型的性价比变化。

  2. Arena.ai47

    Hidream-O1-Video-1.0 由 @HiDream_AI 刚刚登陆 Image-to-Video Arena,以 1456 分位列第 7! 该模型已在 @vivago_ai 上线,距 gemini-omni-flash 仅差 8 分,距 dreamina-seedance-2.0 和 2.5 均在 20 分以内。 恭喜 @HiDream_AI 发布!

    引用vivago.ai (HiDream)@vivago_ai

    New HiDream models just landed in vivago R1 Studio 🚀 Introducing: • HiDream-O1 Image 2.0 • HiDream-O1 Editing 1.5 • HiDream-O1 Video All three models are now available in vivago R1 Studio - bringing the latest HiDream image generation, editing, and video capabilities directly into your creative workflow. New models. New possibilities. Go make something the internet can’t ignore. 🔥

  3. Karina50

    Gemini 的 PostTrainBench 得分翻了一倍多:21.99%(3.1 Pro)→ 45.3%(4)🔥🚀

    引用Sundar Pichai@sundarpichai

    Lots of discussion out there about our next model(!), so I wanted to give an early look as soon as possible. Introducing Gemini 4 Argon! It shows frontier performance in complex workflows, cyber defense and software engineering. Teams are using it extensively at Google, from coding to quantum computing, great feedback. Here’s a look at the benchmarks:

9月30日周三
  1. Fireworks AI(网页)67

    Fireworks 实测 DeepSeek V4 Pro 0813:SWE-Bench 达 95.2%,单任务成本约为 Fable 5 的三分之一

    Fireworks AI 发布对 DeepSeek V4 Pro 0813 的评测,SWE-Bench Verified 得 95.2%(Fable 5 为 85.4%),SWE-bench 单任务成本 $0.309 对 Fable 5 的 $0.808。

    推荐理由:Fireworks 用自家同一套评测对比 DeepSeek V4 Pro 与 Fable 5,给出单模型与 oracle 路由的成本和准确率数据,可作选型参考。

  2. Artificial Analysis 完整文章(网页)75

    Artificial Analysis 评测 GPT-6 Astra:与 Claude Fable 5.1 并列两大指数第一且成本更低

    Artificial Analysis 发布 GPT-6 Astra 基准测试报告,该模型在 Intelligence Index 得 53 分、Coding Agent Index 得 62 分,均与 Claude Fable 5.1 并列第一,且成本分别约为其 40% 和 60%。

    推荐理由:原文给出 GPT-6 Astra 在两大指数中的得分、成本和 token 效率数据,可据此比较它与 Claude Fable 5.1 的实际表现。

  3. ARC Prize:官方博客68

    ARC Prize 测评 OpenAI o1 在 ARC-AGI-Pub 的表现

    ARC Prize 用同一基线测试框架实测 OpenAI o1-preview 和 o1-mini:o1-preview 在 ARC-AGI 公开评测得 21.2%,与 Claude 3.5 Sonnet(21%)相当,但单任务平均耗时 4.2 分钟,约为 Sonnet 的 10 倍,400 道公开题共花 70 小时,而 GPT-4o 和 Sonnet 只需 30 分钟。

    推荐理由:ARC Prize 用同一测试框架给出 o1 在 ARC-AGI-Pub 的基线分数和耗时对比,并分析了测试时计算扩展的效率问题。

  4. ARC Prize:官方博客69

    ARC Prize 实测 o3 与 o4-mini 在 ARC-AGI 上的表现

    ARC Prize Foundation 发布 o3 和 o4-mini 在 ARC-AGI 上的首次公开评测:o3-medium 在 ARC-AGI-1 Semi Private Eval 得 53%,o4-mini-medium 得 42%,两者在 ARC-AGI-2 上均低于 3%。

    推荐理由:ARC Prize 官方实测给出了 o3 与 o4-mini 在 ARC-AGI 两代基准上的准确率、成本和 high 推理不完整覆盖的数据细节。

  5. Artificial Analysis 完整文章(网页)78

    Claude Sonnet 5.5 登上 Artificial Analysis 智能指数第 2 名,token 用量创测量新高

    Anthropic 发布 Claude Sonnet 5.5,在 Artificial Analysis 智能指数得分 56(max 档较 Sonnet 5 提升 18 分),仅次于 Opus 5.5 (max)。

    推荐理由:原文给出 Sonnet 5.5 在智能指数、token 用量和成本上的具体数据,读者可据此对比其与 Opus 5.5 和 GPT-6 系列的实际取舍。

  6. Elon Musk26

    Grok 4.7 在 AA 网络安全指数排名第一

    引用X Freeze@XFreeze

    Grok 4.7 xHigh ranks #1 in Artificial Analysis Cyber Index It's a powerful frontier model performing at the highest level in enterprise cyber defense Outperforming Fable 5.1 Max, Opus 5.5, Astra 6, GPT-6 and other leading AI systems

  7. Arena.ai78

    Arena 公布 Claude Sonnet 5.5 (High) 的实测结果,以 1699 分位列 Code Arena: WebDev 第 4,比 Sonnet 5 (High) 的 1540 分提升 159 分。

    引用Claude@claudeai

    Introducing Claude Sonnet 5.5, the second model in the Claude 5.5 family. It’s a clear upgrade over Sonnet 5, runs more than 30% faster, and costs up to 30% less for most work.

    推荐理由:Arena 的实测榜单数据显示该模型以约 1/5 的成本进入 WebDev 前四,读者可据此权衡性价比选型。

9月29日周二
  1. Arena.ai49

    OpenAI 的 GPT-6 Luna (Max) 进入 Agent Arena 帕累托前沿,净提升 +1.59%,中位成本仅 $0.05/任务。

    引用Arena.ai@arena

    GPT-6 Luna (Max) by @OpenAI is #23 in Agent Arena with +1.6% net improvement across 8K real-world agentic sessions from our global community of users. Although GPT-6 Luna (Max) did not land on the Agent Arena Pareto frontier, it remains a cost-efficient model. Its $0.05 median cost per task is 94% lower than GPT-6 Sol (Max) at $0.82 and 98% lower than GPT-6 Astra (Max) at $2.59. Its net-improvement score also comes within 0.09 percentage points of #22 GPT 5.5, while costing 91% less than its $0.56 median cost per task. This release is a six-place point-rank move over GPT-5.6 Luna (xHigh), at -0.9% and #29! By signal, GPT-6 Luna’s clearest gains over GPT-5.6 Luna are in: - Confirmed Success: #17 (+4.6%) vs. #33 (-4.6%) - Bash Recovery: #21 (+4.2%) vs. #27 (+2.2%) Congrats to the @OpenAI team on this release!

9月28日周一
9月25日周五
  1. karminski-牙医43

    阶跃 Step-5-Preview 实测显示输出稳定性突出,后训练扎实,写工程代码很少反复;在"硅基交警"Agent 测试中全程未指挥出事故,后端 Agentic Coding 与"硅基骑手"多轮测试得分 Δ 很小。其 Agent Loop 迭代能力可卡着极限数值优化,在送餐超时规则下主动把超时算成送餐时间+5分钟以赚积分。短板是前端、3D 场景与美学,较上一代有提升但距本代 SOTA 仍有差距。

9月23日周三
  1. Boris Cherny70

    Boris Cherny 称 Claude Opus 5.5 已成为他近几周的日常主力模型。他让 Opus 5.5 与 Fable 5.1 各自把 HAProxy 从 C 移植到 Rust,两者都通过了几乎全部测试,但 Opus 5.5 用时 9.5 小时,快于 Fable 5.1 的 12 小时,成本低 51%。据其引用的官方介绍,Opus 5.5 是 Claude 5.5 家族首个模型,大多数任务表现达到 Claude Fable 5.1 水平,运行成本比 Opus 5 低 40%。

    引用Claude@claudeai

    Introducing Claude Opus 5.5, the first model in our new Claude 5.5 family. It performs at the level of Claude Fable 5.1 for most tasks, and costs 40% less to run than Opus 5.

    推荐理由:作者实测对比 Opus 5.5 与 Fable 5.1 移植 HAProxy 的用时和成本,给出第一手数据供选型参考。

9月22日周二
  1. elsewhere:文章(RSS)68

    阶跃 Step 5 Preview 实测评测:数据可视化与金融分析亮眼,泛化和审美仍有短板

    阶跃发布 Step 5 Preview,总参数量 600B、激活参数 27B,有视觉输入,官方称在 Artificial Analysis 上涨 44 分、单任务成本仅为 Claude Opus 5 的 1/8。作者与友人实测发现其在数据可视化、金融分析上表现不错,但泛化性、领域知识和审美偏弱,思考过程过长导致长任务耗时且易中断,且长上下文下安全指令遵循可被绕过。

  2. Xiaomi MiMo40

    💗

    引用Design Arena@DesignArena

    BREAKING: MiMo-V2.6-Pro by @XiaomiMiMo lands at #8 overall (#3 open-weight) on Design Arena with an Elo of 1338. This is an impressive 54-point and 22-position increase from MiMo-V2.5-Pro. MiMo-V2.6-Pro also reaches #4 overall in Website (#2 open-weight) and #6 overall in Agentic Frontend Development (#2 open-weight), showing strong performance across both direct generation and agentic coding. This places @XiaomiMiMo's new model among leading models such as GPT-5.6 Sol by @OpenAI, Claude Opus 5 by @Anthropic, and Kimi K3 by @MoonshotAI. Congratulations to the @XiaomiMiMo team on returning to a top-10 placement on Design Arena!

9月17日周四