跳到正文
热点事件持续更新

LMSYS Chatbot Arena 评测榜单更新

2 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

LMSYS 与 UC Berkeley SkyLab 成员开发的开源项目 Chatbot Arena 于 2023 年 5 月上线,是社区驱动的 LLM 实时评测平台。据 2026 年 10 月 2 日发布的博客,该平台已吸引数百万参与者、收集超 80 万投票,评测了 90 多个 LLM,包括 GPT-4、Gemini/Bard 及开源权重 Llama、Mistral。同一日另一篇博客介绍榜单更新:已收集超 13 万有效投票、部署 45+ 模型,11 月新增 9 个模型并获 2.5 万新票;Tulu-2-DPO-70B 和 Yi-34B-Chat 领跑开源模型,接近 gpt-3.5 水平,基于 Mistral 的 7B 模型(OpenChat-3.5、OpenHermes-2.5、Starling-7B)表现亮眼。两篇博客在投票总数上口径不同,早先报道称超 80 万投票,后续报道称超 13 万有效投票。

AI 根据报道生成 · 1 小时前更新

事件进展

2 个进展

  1. 10月2日 22:51 · 1 篇报道
    LMSYS 更新 Chatbot Arena 榜单与 Elo 系统
    LMSYS:Blog(Chatbot Arena 团队):Chatbot Arena 更新:新增模型榜单与 Elo 转 Bradley-Terry 模型
  2. 10月2日 22:51 · 1 篇报道
    LMSYS 发布 Chatbot Arena 评测政策
    LMSYS:Blog(Chatbot Arena 团队):LMSYS Chatbot Arena:社区驱动的 LLM 实时评测平台与政策说明

报道时间线

沿着报道,了解事件的不同侧面。

10月2日
  1. LMSYS:Blog(Chatbot Arena 团队)
    Chatbot Arena 更新:新增模型榜单与 Elo 转 Bradley-Terry 模型

    LMSYS Chatbot Arena 团队发布榜单更新,已收集超 13 万有效投票、部署 45+ 模型,11 月新增 9 个模型并获 2.5 万新票。Tulu-2-DPO-70B 和 Yi-34B-Chat 领跑开源模型,接近 gpt-3.5 水平;基于 Mistral 的 7B 模型(OpenChat-3.5、OpenHermes-2.5、Starling-7B)表现亮眼。

  2. LMSYS:Blog(Chatbot Arena 团队)
    LMSYS Chatbot Arena:社区驱动的 LLM 实时评测平台与政策说明

    LMSYS 与 UC Berkeley SkyLab 成员开发的开源项目 Chatbot Arena 于 2023 年 5 月上线,已吸引数百万参与者、收集超 80 万投票,评测了 90 多个 LLM,包括 GPT-4、Gemini/Bard 及开源权重 Llama、Mistral。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。

关联事件