新基准评估Guardrail授权一致性

研究者 Huihao Jing 等发布论文，提出基准评估 Guardrail 是否遵循授权：用专家标注的自然语言场景与已执行验证的操作，对比同一操作在授权证据下的决策表现，并追踪请求在 guardrail 变更下的变化。 实验发现，许多被拦截的操作源于审查失败而非正确拒绝：修复输出格式可恢复可用决策，但会改变被放行的授权请求；增加第二名审查者能消除部分错误，却会拒绝有效授权。研究者据此主张，guardrail 应同时评估其拦截的未授权操作与放行的已授权操作。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。