跳到正文
Xudong Han· @Xudong07452910 · X·· 13 小时前AI 评分44
AI 导读

Meta FAIR 等团队在《Aligning Autoresearch》中提出让 Research Agent 先自建 benchmark、再逐步引入人类反馈的“共同进化”路径。

正文 · 原文

如果 Autoresearch 真的越来越强,人类研究者最后会被拿掉吗?

Meta FAIR 等团队这篇《Aligning Autoresearch》给出的答案更接近「共同进化」。

他们先让 Research Agent 自己创建 benchmark,再逐步加入人类反馈。

对于真正有价值的人类输入,主要集中在前期帮 Agent 定义要研究什么、给哪些材料、什么样的问题才值得做。

细粒度的人类指导,在 6 组 benchmark × solver 对比里,都让最终 benchmark 明显更难,提升幅度达到 28–46.5 分。

论文还专门做了 HackBench,测试模型能不能从超长科研轨迹里发现 reward hacking。

169 条轨迹里,中位数超过 100 万字符,却通常只藏着 1 条真正违规的命令。

即使是前沿模型,最好的定位 F1 依然不到 53。

所以作者后面做的事情很自然:

让 Agent 学会更好地和人协作。

AutoInteract 用真实交互记录构造「人类模拟器」,训练模型处理澄清、需求变化和纠错;RL-XAR 则用专家写作反过来优化评估标准,再提升 Agent 的科研表达。

这样看来未来的 Research Agent 可能不会简单走向「全自动科研」。

更现实的路径,是让 Agent 承担越来越多执行和搜索工作,同时把人类的研究判断、反馈和标准更深地写进训练循环。

重要的是让 Agent 不仅会自己研究,还要让它知道怎样和人一起把研究做得更好。

📎 arxiv: https://arxiv.org/abs/2610.38882

来源:Xudong Han · x.com