LMSYS Chatbot Arena 评测榜单更新
先了解这件事
LMSYS 与 UC Berkeley SkyLab 成员开发的开源项目 Chatbot Arena 于 2023 年 5 月上线,是社区驱动的 LLM 实时评测平台。据 2026 年 10 月 2 日发布的博客,该平台已吸引数百万参与者、收集超 80 万投票,评测了 90 多个 LLM,包括 GPT-4、Gemini/Bard 及开源权重 Llama、Mistral。同一日另一篇博客介绍榜单更新:已收集超 13 万有效投票、部署 45+ 模型,11 月新增 9 个模型并获 2.5 万新票;Tulu-2-DPO-70B 和 Yi-34B-Chat 领跑开源模型,接近 gpt-3.5 水平,基于 Mistral 的 7B 模型(OpenChat-3.5、OpenHermes-2.5、Starling-7B)表现亮眼。两篇博客在投票总数上口径不同,早先报道称超 80 万投票,后续报道称超 13 万有效投票。
AI 根据报道生成 · 1 小时前更新
事件进展
2 个进展
- 10月2日 22:51 · 1 篇报道LMSYS 更新 Chatbot Arena 榜单与 Elo 系统LMSYS:Blog(Chatbot Arena 团队):Chatbot Arena 更新:新增模型榜单与 Elo 转 Bradley-Terry 模型
- 10月2日 22:51 · 1 篇报道LMSYS 发布 Chatbot Arena 评测政策LMSYS:Blog(Chatbot Arena 团队):LMSYS Chatbot Arena:社区驱动的 LLM 实时评测平台与政策说明
报道时间线
沿着报道,了解事件的不同侧面。
- LMSYS:Blog(Chatbot Arena 团队)Chatbot Arena 更新:新增模型榜单与 Elo 转 Bradley-Terry 模型
LMSYS Chatbot Arena 团队发布榜单更新,已收集超 13 万有效投票、部署 45+ 模型,11 月新增 9 个模型并获 2.5 万新票。Tulu-2-DPO-70B 和 Yi-34B-Chat 领跑开源模型,接近 gpt-3.5 水平;基于 Mistral 的 7B 模型(OpenChat-3.5、OpenHermes-2.5、Starling-7B)表现亮眼。
- LMSYS:Blog(Chatbot Arena 团队)LMSYS Chatbot Arena:社区驱动的 LLM 实时评测平台与政策说明
LMSYS 与 UC Berkeley SkyLab 成员开发的开源项目 Chatbot Arena 于 2023 年 5 月上线,已吸引数百万参与者、收集超 80 万投票,评测了 90 多个 LLM,包括 GPT-4、Gemini/Bard 及开源权重 Llama、Mistral。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。