跳到正文
热点事件持续更新

Cognition发布并更新FrontierCode代码基准

3 篇报道2 个报道来源2 小时前更新

先了解这件事

AI 综述

Cognition 发布 FrontierCode 基准,用于衡量模型能否写出达到开源维护者可合并标准的高质量代码。据 Cognition 称,该基准从正确性、测试质量、范围纪律和风格等维度评估,误报率比 SWE-Bench Pro 低 81%。 2026年10月,Cognition 宣布 FrontierCode 1.1 上线 Artificial Analysis。Cognition 称,该基准由开源维护者共同打造,是首个衡量端到端代码质量与可合并性的基准,判断标准是维护者是否真的会合并该 PR。1.1 版本的全部任务不公开以防污染;Cognition 使用其开源参考工具 Stirrup 运行 150 项任务中的主集“FrontierCode 1.1 Main”(100 项),以便跨模型对比。 目前尚无第三方评测结果或维护者反馈的报道。

AI 根据报道生成 · 1 小时前更新

最新进展10月13日 03:32
Cognition 推出 FrontierCode 1.1 基准

事件进展

2 个进展

  1. 10月13日 03:29 · 2 篇报道
    FrontierCode 1.1 上线 Artificial Analysis
    Cognition:Cognition 推出 FrontierCode 1.1 基准
  2. 9月30日 23:27 · 1 篇报道
    Cognition发布FrontierCode代码质量基准
    Cognition 模型 / Devin 博客:Cognition 推出 FrontierCode 基准,衡量模型能否写出可合并的高质量代码

报道时间线

沿着报道,了解事件的不同侧面。

10月13日
  1. Cognition
    Cognition 推出 FrontierCode 1.1 基准

    FrontierCode 1.1 现已上线 @ArtificialAnlys! FrontierCode 由开源维护者共同打造,是首个衡量端到端代码质量与可合并性的基准:维护者真的会合并这个 PR 吗?

  2. Cognition
    Cognition 推出 FrontierCode 1.1 基准

    FrontierCode 1.1 现已上线 @ArtificialAnlys! FrontierCode 由开源维护者共同打造,是首个衡量端到端代码质量与可合并性的基准:维护者是否真的会合并这个 PR?

9月30日
  1. Cognition 模型 / Devin 博客
    Cognition 推出 FrontierCode 基准,衡量模型能否写出可合并的高质量代码

    Cognition 发布 FrontierCode 基准,从正确性、测试质量、范围纪律、风格等维度评估模型代码能否达到开源维护者可合并的标准,误报率比 SWE-Bench Pro 低 81%。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。

关联事件