提出CABRA编码能力评测基准
热点事件持续更新
提出CABRA编码能力评测基准
1 篇报道1 个报道来源2 小时前更新
先了解这件事
报道摘要
研究者提出 CABRA 基准，用调用图变换从零构建任务，并通过任务规模参数在函数遍历、搜索、运行时解析和指令遵循四个维度上调节难度。在 6,840 个任务上测试 8 个 LLM 和 6 个编程智能体发现，LLM 准确率随任务规模增长而下降，但智能体借助 grep 等工具仍近乎满分；SWE-bench Verified 上的工具调用次数比编辑代码行数更能预测智能体准确率。
摘自 arXiv：cs.AI
最新进展10月9日 12:00
代码理解是编程智能体的瓶颈：CABRA 基准发布报道时间线
沿着报道，了解事件的不同侧面。
10月9日
- arXiv：cs.AI代码理解是编程智能体的瓶颈：CABRA 基准发布
研究者提出 CABRA 基准，用调用图变换从零构建任务，并通过任务规模参数在函数遍历、搜索、运行时解析和指令遵循四个维度上调节难度。在 6,840 个任务上测试 8 个 LLM 和 6 个编程智能体发现，LLM 准确率随任务规模增长而下降，但智能体借助 grep 等工具仍近乎满分；SWE-bench Verified 上的工具调用次数比编辑代码行数更能预测智能体准确率。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。