研究提出可执行任务契约评估智能体鲁棒性
热点事件持续更新
研究提出可执行任务契约评估智能体鲁棒性
1 篇报道1 个报道来源16 小时前更新
先了解这件事
AI 综述
研究者提出"可执行任务契约",在工具调用智能体运行前声明任务定义事实、允许的编辑和完成标准,并据此校验改动后的测试用例,用于评估智能体鲁棒性。 在 14,336 条已存运行记录上比较,四种编码器的嵌入阈值放过了 75-100% 改变任务的编辑(如替换收款人),却拒绝了 24-45% 有效的恶意注入笔记;使用 MiniLM 余弦阈值时,Mistral 在全部 64 个任务上看似脆弱,实际只有 26 个存在成功的有效攻击。 来源:arXiv cs.AI,作者 Shaikh Akib Shahriyar 等。
AI 根据报道生成 · 2 小时前更新
最新进展10月15日 12:00
什么才算同一个任务?面向工具调用智能体鲁棒性评估的可执行任务契约报道时间线
沿着报道,了解事件的不同侧面。
10月15日
- arXiv:cs.AI什么才算同一个任务?面向工具调用智能体鲁棒性评估的可执行任务契约
研究者提出"可执行任务契约",在智能体运行前声明任务定义事实、允许的编辑和完成标准,并据此校验每个改动后的测试用例。在 14,336 条已存智能体运行记录上比较,四种编码器的嵌入阈值放过了 75-100% 改变任务的编辑(如替换收款人),却拒绝了 24-45% 有效的恶意注入笔记。使用 MiniLM 余弦阈值时,Mistral 在全部 64 个任务上看似脆弱,实际只有 26 个存在成功的有效攻击。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。