跳到正文
热点事件持续更新

Artificial Analysis 称 Inception 引用分数不可比

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Artificial Analysis 澄清,Inception 发布 Mercury 3 时引用的 AA-Omniscience 和 GDPval-AA v2 分数并非其 Intelligence Index,且不符合其方法论,与 Artificial Analysis 网站上的分数不可比。 Artificial Analysis 称,AA-Omniscience 使用私有数据集(仅开源了 10% 的公开子集),GDPval-AA v2 则须采用其评分方法和模型对比集才具可比性。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月20日
  1. Artificial Analysis
    Artificial Analysis 澄清 Mercury 3 引用的评测分数与其方法论不可比

    Artificial Analysis 澄清 Inception 发布 Mercury 3 时引用的 AA-Omniscience 和 GDPval-AA v2 分数并非其 Intelligence Index,且不符合其方法论,与 Artificial Analysis 上的分数不可比。AA-Omniscience 使用私有数据集(官方开源了 10% 的公开子集),GDPval-AA v2 需采用其评分方法和模型对比集才具可比性。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。