研究揭示代码LLM过度自信失败问题

Ravishka Rathnasuriya 与 Wei Yang 发表研究，指出代码 LLM 存在"过度自信失败"：生成的错误程序在 token 级置信度上与正确程序难以区分。 该结论覆盖四个开源代码模型和三个基于执行的 benchmark。研究发现，现有不确定性信号只能提供部分失败证据，且依赖具体模型，基于不确定性的筛选无法稳定提升接受集准确率；指令微调会增加失败生成的确定性，但不改善对正确性的判别，常见缓解手段也无法可靠解决这一问题。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。