iPrefBench:个性化移动使用智能体基准发布
热点事件观察中
iPrefBench:个性化移动使用智能体基准发布
1 篇报道1 个报道来源2 天前更新
先了解这件事
AI 综述
Yuting Ning 等人提出并发布 iPrefBench,用于评估个性化移动使用智能体在可执行 iOS 环境中“推断与询问”用户偏好的能力。该基准基于含 3,051 条历史活动事件的统一人设,覆盖 26 个应用的 130 个欠指定任务,并配有交互式模拟用户。 对 7 个前沿智能体的评测显示,动作完成分最高达 91.6%,但完整任务成功率最高仅 47.7%,说明智能体在执行层面表现较好,在个性化推断与询问上明显落后,尤其在只能向用户询问的信息上表现不佳。
AI 根据报道生成 · 51 分钟前更新
最新进展10月26日 08:00
iPrefBench:面向个性化移动使用智能体的以用户为中心基准报道时间线
沿着报道,了解事件的不同侧面。
10月26日
- HuggingFace Daily PapersiPrefBench:面向个性化移动使用智能体的以用户为中心基准
iPrefBench 是评估个性化移动使用智能体“推断与询问”能力的基准,在可执行 iOS 环境与交互式模拟用户中运行,基于含 3,051 条历史活动事件的统一人设,覆盖 26 个应用的 130 个欠指定任务。对 7 个前沿智能体的评测显示,动作完成分最高达 91.6%,但完整任务成功率最高仅 47.7%,个性化明显落后于执行,尤其在只能向用户询问的信息上表现不佳。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。