arXiv 研究揭示 DataFrame 代码生成解释锁定

arXiv 发布一项研究，在 TPC Benchmark DS 的 30 个 DataFrame 代码生成任务上发现“解释锁定”现象：生成的代码通过测试的比例提高，但没有任何生成解与存储的参考输出一致，77 次通过测试的运行结果仍与参考不符。测试通过数从 22/30 升至 29/30 和 30/30。 研究者将这一现象描述为错误理解在规划、实现和测试中持续存在。该研究使用单一模型、每个合格任务仅一次主要生成，因此作者称发现属于诊断性而非因果性结论；流水线在反馈、 grounding、调用预算和编辑权限上存在差异。此外，由于未保留裁决前的人工标注，评分者间一致性无法重建，机制分析仍属探索性。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。