跳到正文
热点事件持续更新

ResearchFlow-Eval:评估自动研究流程的执行鸿沟

1 篇报道1 个报道来源15 小时前更新

先了解这件事

AI 综述

研究者提出 ResearchFlow-Eval,一个在阶段与论断两个层面评估自动研究系统连续科学执行与迭代的细粒度框架。此前的评测多聚焦孤立任务或最终产物,该框架以已发表论文为锚点按阶段生成评分细则,对通用智能体、技能增强与专用研究编排系统进行评测。 结果显示,所有被测系统的实验执行均落后于设计与规划,重复尝试少有可测改进,技能增强和研究专用编排都未能可靠提升分数。这提示自动研究系统在把规划转化为实际实验上仍存在明显执行鸿沟。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月15日
  1. arXiv:cs.LG
    ResearchFlow-Eval:追踪端到端多论断自动研究中的执行鸿沟

    针对自动研究系统评测多聚焦孤立任务或最终产物的问题,研究者提出 ResearchFlow-Eval,一个在阶段与论断两个层面评估连续科学执行与迭代的细粒度框架。该框架以已发表论文为锚点,按阶段生成评分细则,评测通用智能体、技能增强与专用研究编排系统。结果显示所有系统实验执行均落后于设计与规划,重复尝试少有可测改进,技能增强和研究专用编排都未能可靠提升分数。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。