跳到正文

内容类型

评测基准 最新动态

模型到底谁更强：Benchmark 评测成绩、评测方法的争议与排行榜变化。

82 条精选近 30 天 67 条共收录 1,663 条

更新

精选归档 · 第 5 页

2023年12月1日周五第 81–82 条
  1. Hugging Face：Blog65

    Hugging Face 深入排查 Open LLM Leaderboard 的 DROP 评测异常

    Hugging Face 排查 Open LLM Leaderboard 上 DROP 评测分数异常的原因，发现绝大多数模型 f1 分数低于 10。问题出在归一化步骤会漏掉后接非空格空白字符的数字答案，以及以 . 作为停止词导致浮点答案被截断、高质量长回答反而得分更低。

    推荐理由：原文完整复盘了 DROP 评测分数异常的排查过程，定位到归一化和停止词两处实现缺陷，读者可了解基准评测出错的具体机制。

2023年6月12日周一
  1. Hugging Face：Blog70

    Hugging Face 实验：GPT-4 能否像人类标注员一样为模型输出打分

    Hugging Face 扩展 Open LLM Leaderboard，用 Scale AI 人工标注和 GPT-4 对 Koala-13B、Vicuna-13B、OpenAssistant-12b、Dolly-12b 在 327 条提示上的输出做成对偏好评估并计算 Elo 排名。

    推荐理由：原文用同一盲测集对比 Scale AI 人工标注与 GPT-4 评分，给出 Elo 排名、位置偏差和相关系数等可核查数据。