研究：删除或改写规则后，LLM合规判决几乎不变

Saisab Sadhu 等作者提交的论文在五个模型、20 个监管与平台政策领域上测试：固定案件、删除或替换或否定所依据的规则后，模型判决几乎不变，其内部合规表征（ICS-delta）也无明显变化。 在自定义规则适配其原生分类体系下，guard 模型的规则敏感性最低、准确率仅 51%，远低于通用模型的 90–92%，接近随机水平。论文称，在删除规则会改变原先正确预测的案例上，模型能密切跟随规则变化；改善提示词或直接干预模型内部表征都无法弥合这一差距。 该研究提出用规则敏感性对 LLM 合规系统进行诊断与审计，上述测试结果均出自论文作者。

AI 根据报道生成 · 50 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。