CONTRA:LLM代码生成选择性澄清方法
热点事件持续更新
CONTRA:LLM代码生成选择性澄清方法
2 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
Zheng Fang等作者提出免训练方法CONTRA,通过广泛发现问题并结合语义与执行筛选,为LLM代码生成识别关键的澄清问题。作者称,在同时发布的交互式基准ClarifyCodeBench上,CONTRA在四种编码智能体中均取得最高F1,比最佳基线宏平均F1高出13.88个百分点,澄清召回率和F1也超过Claude Code与OpenHands。 ClarifyCodeBench基于真实编程任务构建,配套人工标注的歧义类型、澄清问题与标准答案,用于评估LLM澄清需求歧义的能力。
AI 根据报道生成 · 2 小时前更新
最新进展10月5日 12:00
CONTRA:为 LLM 代码生成选择性澄清发现并筛选改变行为的问题事件进展
2 个进展
- 10月5日 12:00 · 1 篇报道提出ClarifyCodeBench交互式基准评测LLM澄清需求歧义arXiv:cs.AI:ClarifyCodeBench:评估 LLM 澄清代码生成模糊需求的能力
- 10月5日 12:00 · 1 篇报道提出CONTRA选择性澄清方法arXiv:cs.AI:CONTRA:为 LLM 代码生成选择性澄清发现并筛选改变行为的问题
报道时间线
沿着报道,了解事件的不同侧面。
10月5日
- arXiv:cs.AICONTRA:为 LLM 代码生成选择性澄清发现并筛选改变行为的问题
CONTRA 是一种免训练方法,通过广泛发现问题并结合语义与执行筛选,为 LLM 代码生成识别关键的澄清问题。在 ClarifyCodeBench 上,CONTRA 在四种编码智能体中均取得最高 F1,比最佳基线宏平均 F1 高出 13.88 个百分点,澄清召回率和 F1 也超过 Claude Code 与 OpenHands。
- arXiv:cs.AIClarifyCodeBench:评估 LLM 澄清代码生成模糊需求的能力
研究者推出 ClarifyCodeBench,一个基于真实编程任务构建的交互式基准,用于评估 LLM 澄清需求歧义的能力,并配套人工标注的歧义类型、澄清问题与标准答案。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。