跳到正文
热点事件持续更新

LMSYS 发布 Chatbot Arena 平台与偏好数据集

2 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

2026年10月2日,LMSYS 团队发布 Chatbot Arena 平台,用户可与两个匿名大语言模型并排对话并投票,平台采用国际象棋 Elo 评分系统生成模型排行榜,同时公布首批 Elo 模型排行榜。同日,LMSYS 还发布两套人类偏好数据集:一是 Chatbot Arena 收集的 33K 众包对话,时间范围为 2023 年 4 月至 6 月,包含 20 个 LLM 输出、用户投票和毒性标签;二是 MT-bench 的 3.3K 专家级成对偏好标注,覆盖 GPT-4、GPT-3.5、Claude-v1 等 6 个模型对 80 个问题的回答。

AI 根据报道生成 · 1 小时前更新

事件进展

2 个进展

  1. 10月2日 22:51 · 1 篇报道
    LMSYS 发布 Chatbot Arena 与 Elo 排行榜
    LMSYS:Blog(Chatbot Arena 团队):LMSYS 发布 Chatbot Arena 平台并公布首批 Elo 模型排行榜
  2. 10月2日 22:51 · 1 篇报道
    LMSYS 发布 Chatbot Arena 对话数据集与 MT-bench 标注
    LMSYS:Blog(Chatbot Arena 团队):LMSYS 发布 Chatbot Arena 33K 对话偏好数据集与 3K MT-bench 专家标注

报道时间线

沿着报道,了解事件的不同侧面。

10月2日
  1. LMSYS:Blog(Chatbot Arena 团队)精选
    LMSYS 发布 Chatbot Arena 平台并公布首批 Elo 模型排行榜

    LMSYS 团队推出 Chatbot Arena,一个让用户与两个匿名模型并排对话并投票的大语言模型众包评测平台,采用国际象棋中的 Elo 评分系统生成排行榜。

  2. LMSYS:Blog(Chatbot Arena 团队)精选
    LMSYS 发布 Chatbot Arena 33K 对话偏好数据集与 3K MT-bench 专家标注

    LMSYS 发布两套人类偏好数据集:Chatbot Arena 收集的 33K 众包对话(2023 年 4 月至 6 月,含 20 个 LLM 输出、用户投票和毒性标签),以及 MT-bench 的 3.3K 专家级成对偏好标注,覆盖 GPT-4、GPT-3.5、Claude-v1 等 6 个模型对 80 个问题的回答。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。

关联事件