Infinity-Chat数据集揭示大模型开放性生成趋同

Liwei Jiang等作者发布Infinity-Chat数据集，用于研究大语言模型在开放性生成中的同质化现象。该数据集包含26K条来自真实用户、允许多种合理答案且无唯一标准答案的开放式查询。 数据集还包含31,250条人工标注，涵盖绝对评分和成对偏好两类，每个样本由25位独立标注者完成标注。论文同时提出覆盖6大类、17子类的开放性提示分类法。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。