跳到正文
热点事件持续更新

研究团队发布 PerSo 社交智能评测基准

1 篇报道1 个报道来源15 小时前更新

先了解这件事

AI 综述

Ali Zamani 等作者提出并发布评测基准 PerSo,用于在 Reddit ChangeMyView 社区的真实劝服对话中考察大语言模型(LLM)的社交智能。该基准经 LLM-in-the-loop 流程生成评测任务,并通过人工标注验证。 PerSo 同时评测 LLM 的认知智能与行为智能。评测结果显示,模型表现总体随规模提升,但各维度不一致:最强 LLM 在行为任务上略超最佳人类表现,而在认知任务上最佳人类参与者仍保持领先。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月15日
  1. arXiv:cs.CL
    PerSo:在真实劝服场景中考察 LLM 社会智能的多个维度

    PerSo 是一个基于 Reddit ChangeMyView 真实劝服对话构建的基准,用 LLM-in-the-loop 流程生成评测任务并经人工标注验证,同时考察 LLM 的认知智能与行为智能。评测显示模型表现总体随规模提升但各维度不一:最强 LLM 在行为任务上略超最佳人类表现,而认知任务上最佳人类参与者仍领先。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。