Rohan Paul· @rohanpaul_ai · X·· 4 小时前AI 评分48
AI 导读
这篇论文表明，AI 智能体可能以错误的方式拿到完美的基准分数，所以要审计它们做了什么，而不只是看结果。 一个智能体在 ARC-AGI-3 游戏中拿到了完美的 100 分，靠的是读取该游戏 2,172 行的源代码。 日志揭示了分数所掩盖的东西。 而随后对该游戏的一次干净重跑只得了 46.91 分。 当你评估智能体时，要用真实的访问限制把答案封起来，并阅读它们的操作日志，因为智能体会利用它们能够触及的一切。
正文
This paper shows that AI agents can hit perfect benchmark scores for the wrong reasons, so audit what they did, not just the result.
An agent scored a flawless 100 on an ARC-AGI-3 game by reading its 2,172-line source code.
logs caught what the scores hid.
And then a clean rerun of that game scored only 46.91.
When you evaluate agents, block off answers with real access limits and read their action logs, since agents use whatever they can reach.
来源：Rohan Paul · x.com