热点事件持续更新
LMSYS 推出 Hard Prompts 榜单与 Arena-Hard-Auto
2 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026 年 10 月 2 日，LMSYS Chatbot Arena 团队发布两项与提示词难度相关的工作。其一，Chatbot Arena 新增 Hard Prompts 排行榜类别：团队用 7 项难度标准（如领域知识、复杂度、问题解决），由 Llama-3-70B-Instruct 标注超过 100 万条 Arena 提示词，取难度分数 6 分及以上的提示词（约 20%）构建榜单，排名仍基于用户偏好投票而非 LLM 评审。其二，团队发布 Arena-Hard 数据管线，从 20 万条真实用户查询中自动筛选出 500 条高质量基准提示词，构建 Arena-Hard-Auto-v0.1。两项工作均基于 Chatbot Arena 的真实用户数据，目前均处于新发布阶段。
AI 根据报道生成 · 1 小时前更新
最新进展10月2日 22:51
LMSYS 同日推出 Hard Prompts 榜单类别与 Arena-Hard-Auto v0.1 基准。事件进展
2 个进展
- 10月2日 22:51 · 1 篇报道LMSYS 发布 Arena-Hard 基准构建管线LMSYS：Blog（Chatbot Arena 团队）：LMSYS 发布 Arena-Hard-Auto v0.1：从 Chatbot Arena 实时数据构建高质量 LLM 基准
- 10月2日 22:51 · 1 篇报道Chatbot Arena 新增 Hard Prompts 排行榜类别LMSYS：Blog（Chatbot Arena 团队）：LMSYS Chatbot Arena 推出 Hard Prompts 新类别
报道时间线
沿着报道，了解事件的不同侧面。
10月2日
- LMSYS：Blog（Chatbot Arena 团队）LMSYS 发布 Arena-Hard-Auto v0.1：从 Chatbot Arena 实时数据构建高质量 LLM 基准
LMSYS Chatbot Arena 团队发布 Arena-Hard 数据管线，从 20 万条真实用户查询中自动筛选出 500 条高质量基准提示词，构建 Arena-Hard-Auto-v0.1。
- LMSYS：Blog（Chatbot Arena 团队）LMSYS Chatbot Arena 推出 Hard Prompts 新类别
LMSYS Chatbot Arena 团队推出 Hard Prompts 新排行榜类别，用 7 项难度标准（如领域知识、复杂度、问题解决）由 Llama-3-70B-Instruct 标注超过 100 万条 Arena 提示词，取难度分数 6 分及以上的提示词（约 20%）构建榜单，排名仍基于用户偏好投票而非 LLM 评审。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。