新基准测试评估程序输出与检查点状态预测

Xiaohong Chen 等人发布了一项基准测试，用于从源码和输入预测程序最终输出与检查点状态，在无工具、不执行代码的条件下评估模型。该基准包含来自 371 个 Python 和 C++ 程序的 400 个案例，覆盖四个模型家族的七种设置。 按计划进行的 11,200 次预测中，11,151 次产生了可评分回答。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。