新框架评估大模型刻板印象强度

Nataliya Stepanova 等作者发表论文，指出仅比较一对对比性刻板印象句子的对数似然往往不可靠——改写同一刻板印象的属性即可产生逻辑不一致的偏好。他们因此提出双重最小对比对评测框架，通过数据增强生成释义与替换属性，覆盖英语、俄语、西班牙语和中文的刻板印象，并设计两项评估指标，其中基于互信息（MI）的指标更适合聚合，据作者称可跨语言、跨模型更稳健地比较刻板印象强度。 代码已公开。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。