研究：用部分生成判断LLM交互安全

研究者提出一种用部分生成结果判断大语言模型交互安全性的方法：让系统边生成边观察，仅在输出开始变有害时中止。团队基于 Llama、Gemma、Qwen 三个家族的七个开放权重模型，构建了 41,944 条提示词-回复对数据集。 数据集显示，提示词标签与回复标签仅在 50.46% 的样本上一致（Cohen's κ=0.06），说明输入提示是否有害与模型实际交互是否安全并不等同，单看提示词标签可能误判。该结论基于上述特定模型与数据集，尚待更广泛验证。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。