Doc2Harness：评估编码Agent长程harness工程能力

Yuyao Ge等作者提出并公布 Doc2Harness 基准，直接评估 LLM 的长程 harness 工程能力。该基准分两阶段：待测模型在固定 builder harness 中，依据接口契约骨架和整合十二个前沿 harness 行为的开发文档，在隔离容器内构建完整候选 harness，再由脚本化 mock model 在独立容器中端到端驱动测试。 在 19 个前沿模型上各进行三次独立构建、共 328 个测试用例的评估中，GPT-6 Astra 通过率最高，为 53.05%；最弱模型为 27.44%，差距约 26 个百分点。作者称，据其所知这是首个确定性衡量长程 harness 工程的基准。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。