跳到正文
热点事件持续更新

FDE-Bench发布:智能体端到端交付评测

1 篇报道1 个报道来源15 小时前更新

先了解这件事

AI 综述

研究者发布 FDE-Bench,称其为首个基于真实客户项目构建的基准,用于评估智能体在需求不明确的业务任务中完成端到端交付的能力,包含组合优化与机器学习共 49 个案例。 测试中,智能体需向模拟客户问出缺失需求,最终交付物由针对各案例的评估器按验收标准打分,并以客户认可的 FDE 方案作为质量参照。 作者称,在 18 种智能体配置中最高平均交付得分仅 0.5510(FDE 参考为 1.0),最高交付成功率仅 6.12%,说明达到前线交付工程师级别的可靠端到端交付对现有智能体仍不可及。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月15日
  1. arXiv:cs.AI
    FDE-Bench:评估智能体能否完成需求不明确真实业务任务的端到端交付

    研究者推出 FDE-Bench,首个基于真实客户项目构建的 benchmark,用于评估智能体在需求不明确业务任务中的端到端交付能力,包含 49 个组合优化与机器学习案例。在 18 种智能体配置中,最高平均交付得分仅 0.5510(FDE 参考为 1.0),最高交付成功率(DSR)仅 6.12%,表明可靠的前线交付工程师级端到端交付对现有智能体仍不可及。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。