研究者发布计算机使用智能体安全基准OSGuard

研究者 Mina Mohammadmirzaei 与 Jeffrey Flanigan 发布 OSGuard，一个从本地执行前护栏决策和端到端任务执行两个层面评估计算机使用智能体安全性的基准套件。 动作级基准含 324 个（应为人工标注样本数）人工标注样本，风险增强执行套件包含由 40 个 OSWorld 任务派生的 45 个任务。据该研究，最强护栏在动作级达到 79.9% 准确率和 0.80 macro-F1，但在风险增强执行的动作上表现明显下降。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。