披露门控用户模拟器用于伴侣智能体评测

Yao Liu 等作者发布一种披露门控用户模拟方法，用于陪伴型智能体评测。该方法用五级有序门、合并为三个可观测深度层来控制用户模拟器向被测系统释放信息的节奏，针对大语言模型模拟用户过度配合、被测系统靠提问数量刷分的问题。 在某个已发布陪伴型智能体基准的英文语料上，移除逐样本门控语句会改变 12 个系统的排名，而各系统分数无明显变化。作者称，该模拟器与已发布榜单相关性达 0.993，是唯一同时满足排序保序与分数尺度稳定两项标准的方案。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。