研究者发布 Big-Big-SycoBench 谄媚检测基准

Marthe Ballon 等作者发布 Big-Big-SycoBench，用"论点辨别力"衡量大语言模型的谄媚：模型在接受有效批评后应修改评分，在面对无效施压时应坚持原判。 该基准包含 450 个文本产物和 5400 条用于提高或降低其质量评分的论点，每条论点由十二名人工标注者中的一人或多人审阅。模型对每个产物打分二十次以确定基线与波动，只有超出模型自身波动幅度的修改才被计为一次修改。 按研究者的设定，一个不谄媚的模型应能区分有效与无效论点，并据此决定是否改分。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。