热点事件持续更新

新评估器可降低越狱攻击成功率误判

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

研究者提出一种无需训练的“语义重建游戏”评估器，用于判断大语言模型是否真的回应了越狱请求。他们称现有 ASR（攻击成功率）评估会把拒绝回答或仅与话题相关的回答误判为攻击成功，仅更换评判用 LLM 就能让报告的 ASR 相差最多 82 个百分点。该评估器仅根据回答重建其实际回应的请求，排除重复或拒绝内容，再与相似诱饵请求比对，两者都不匹配时可选择弃权。在三种现成 LLM 评判模型上，其与人类标签的平均误差最低，并降低了报告 ASR 的波动。

AI 根据报道生成 · 1 小时前更新

最新进展10月15日 12:00

LLM 是否真的回答了问题？一种用于越狱评估的语义重建游戏

报道时间线

沿着报道，了解事件的不同侧面。

10月15日

12:00
arXiv：cs.LG
LLM 是否真的回答了问题？一种用于越狱评估的语义重建游戏
针对 LLM 越狱攻击的 ASR 评估可能将拒绝或仅话题相关的回答误判为攻击成功，仅更换评判 LLM 就能让报告的 ASR 相差最多 82 个百分点。为此研究者提出无需训练的语义重建游戏评估器：仅根据回答重建其实际回应的请求，排除重复或拒绝的内容，再与相似诱饵请求比对，两者都不匹配时可选择弃权。在三种现成 LLM 评判模型上，该方法对人类标签的平均误差最低，并降低了报告 ASR 的波动。

本事件热度走势

还没有足够的连续观测数据，暂不绘制趋势。