跳到正文
热点事件持续更新

CONTRA:LLM代码生成选择性澄清方法

2 篇报道1 个报道来源4 小时前更新

先了解这件事

AI 综述

Zheng Fang等作者提出免训练方法CONTRA,通过广泛发现问题并结合语义与执行筛选,为LLM代码生成识别关键的澄清问题。作者称,在同时发布的交互式基准ClarifyCodeBench上,CONTRA在四种编码智能体中均取得最高F1,比最佳基线宏平均F1高出13.88个百分点,澄清召回率和F1也超过Claude Code与OpenHands。 ClarifyCodeBench基于真实编程任务构建,配套人工标注的歧义类型、澄清问题与标准答案,用于评估LLM澄清需求歧义的能力。

AI 根据报道生成 · 2 小时前更新

事件进展

2 个进展

  1. 10月5日 12:00 · 1 篇报道
    提出ClarifyCodeBench交互式基准评测LLM澄清需求歧义
    arXiv:cs.AI:ClarifyCodeBench:评估 LLM 澄清代码生成模糊需求的能力
  2. 10月5日 12:00 · 1 篇报道
    提出CONTRA选择性澄清方法
    arXiv:cs.AI:CONTRA:为 LLM 代码生成选择性澄清发现并筛选改变行为的问题

报道时间线

沿着报道,了解事件的不同侧面。

10月5日
  1. arXiv:cs.AI
    CONTRA:为 LLM 代码生成选择性澄清发现并筛选改变行为的问题

    CONTRA 是一种免训练方法,通过广泛发现问题并结合语义与执行筛选,为 LLM 代码生成识别关键的澄清问题。在 ClarifyCodeBench 上,CONTRA 在四种编码智能体中均取得最高 F1,比最佳基线宏平均 F1 高出 13.88 个百分点,澄清召回率和 F1 也超过 Claude Code 与 OpenHands。

  2. arXiv:cs.AI
    ClarifyCodeBench:评估 LLM 澄清代码生成模糊需求的能力

    研究者推出 ClarifyCodeBench,一个基于真实编程任务构建的交互式基准,用于评估 LLM 澄清需求歧义的能力,并配套人工标注的歧义类型、澄清问题与标准答案。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。