研究团队发布 PerSo 社交智能评测基准
热点事件持续更新
研究团队发布 PerSo 社交智能评测基准
1 篇报道1 个报道来源15 小时前更新
先了解这件事
AI 综述
Ali Zamani 等作者提出并发布评测基准 PerSo,用于在 Reddit ChangeMyView 社区的真实劝服对话中考察大语言模型(LLM)的社交智能。该基准经 LLM-in-the-loop 流程生成评测任务,并通过人工标注验证。 PerSo 同时评测 LLM 的认知智能与行为智能。评测结果显示,模型表现总体随规模提升,但各维度不一致:最强 LLM 在行为任务上略超最佳人类表现,而在认知任务上最佳人类参与者仍保持领先。
AI 根据报道生成 · 2 小时前更新
最新进展10月15日 12:00
PerSo:在真实劝服场景中考察 LLM 社会智能的多个维度报道时间线
沿着报道,了解事件的不同侧面。
10月15日
- arXiv:cs.CLPerSo:在真实劝服场景中考察 LLM 社会智能的多个维度
PerSo 是一个基于 Reddit ChangeMyView 真实劝服对话构建的基准,用 LLM-in-the-loop 流程生成评测任务并经人工标注验证,同时考察 LLM 的认知智能与行为智能。评测显示模型表现总体随规模提升但各维度不一:最强 LLM 在行为任务上略超最佳人类表现,而认知任务上最佳人类参与者仍领先。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。