跳到正文
热点事件观察中

iPrefBench:个性化移动使用智能体基准发布

1 篇报道1 个报道来源2 天前更新

先了解这件事

AI 综述

Yuting Ning 等人提出并发布 iPrefBench,用于评估个性化移动使用智能体在可执行 iOS 环境中“推断与询问”用户偏好的能力。该基准基于含 3,051 条历史活动事件的统一人设,覆盖 26 个应用的 130 个欠指定任务,并配有交互式模拟用户。 对 7 个前沿智能体的评测显示,动作完成分最高达 91.6%,但完整任务成功率最高仅 47.7%,说明智能体在执行层面表现较好,在个性化推断与询问上明显落后,尤其在只能向用户询问的信息上表现不佳。

AI 根据报道生成 · 51 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月26日
  1. HuggingFace Daily Papers
    iPrefBench:面向个性化移动使用智能体的以用户为中心基准

    iPrefBench 是评估个性化移动使用智能体“推断与询问”能力的基准,在可执行 iOS 环境与交互式模拟用户中运行,基于含 3,051 条历史活动事件的统一人设,覆盖 26 个应用的 130 个欠指定任务。对 7 个前沿智能体的评测显示,动作完成分最高达 91.6%,但完整任务成功率最高仅 47.7%,个性化明显落后于执行,尤其在只能向用户询问的信息上表现不佳。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。