跳到正文
热点事件持续更新

研究:37个LLM作合成问卷受访者不可靠

1 篇报道1 个报道来源5 小时前更新

先了解这件事

AI 综述

Mantas Lukauskas 与 Viktorija Šarkauskaitė 发布研究,用立陶宛组织心理学数据集(263名员工、68个条目、12个子量表)对37个LLM作为合成问卷受访者做心理测量审计,提出 PSS 并与五个统计基线、人类上限对比,结论是 LLM 表现看似合理但并不可靠。 作者设置了角色披露梯度、呈现方式、推理投入、跨语言消融、反事实人口特征替换和记忆探测等条件。该论文 v2 版修正了 LLM 答案的反向计分、统计基线的分布成分、默许指数和反事实替换中配对差值的符号(角色替换现为最大效应),并删除中介负对照中的三条部分—整体路径,所有数字、表格与图重新计算。上述结论均来自作者自述。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月15日
  1. arXiv:cs.AI
    LLM 作为合成问卷受访者的心理测量审计:看似合理但并不可靠

    研究用立陶宛组织心理学数据集(263 名员工、68 个条目、12 个子量表)对 37 个 LLM 进行心理测量审计,提出 Psychometric Similarity Score(PSS)并与五个统计基线、人类上限对比。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。