Artificial Analysis 发布决策模型基准 Decision Index v1.0

Artificial Analysis 发布 Decision Index v1.0，从分类、工具调用、知识和推理四类任务对决策模型做基准测试。其称，在决策模型类别中 Jev 领先；Claude Haiku 5.5 等语言模型准确率更高，但成本和延迟明显更大。按其数据，Claude Haiku 5.5 (Low) 得 61 分、比 Jev 1.13 高 3 分，但每任务耗时 1.4 秒对 0.13 秒（慢 11 倍），每百万任务成本 184 美元对 42 美元（贵 4.4 倍）。 该基准包含来自 NVIDIA 的 When2Call 工具调用测试，考察模型能否正确决定调用工具、请求澄清、拒绝回答或直接作答。该测试从原 1,725 条数据中取 835 条，条件为三名人工标注者在三个标签上全部一致，并剔除会持续触发模型拒答的问题。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。