LoopArena：评测模型控制循环的能力

Yi Wang 等作者发布 LoopArena 基准及评测代码，用来衡量一个模型能否引导独立的编码智能体完成长时任务：被评测模型担任 Controller，每轮编码后依据结构化摘要指示固定的 Worker 执行或验证下一步，或决定停止。 该基准分三部分：Type I 为 160 道低成本控制选择题，执行成本在基准构建时一次性产生，因此每个新 Controller 只做一次四选一、不运行代码；Type II 在 80 个选定任务片段上评测 Controller 的引导，Type III 则从原始状态评测对应的 80 个完整任务。 作者称，基准数据与评测代码已公开。这一设计把控制决策与代码执行成本分开，使长时任务中的控制能力可以单独评测。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。