arXiv 研究测算 LLM 代码评测方差上限

一项发表于 arXiv 的研究测出 LLM 代码评测中重复运行可降低的方差上限为 1+μ_w/σ_b²，16 个模型的该指标中位数为 1.34，范围 1.05–1.71。作者称，这说明重复运行带来的方差削减存在上限，多跑几次并不能无限制地提高评测可靠度。 该结论基于 16 个模型、99 道 LeetCode 风格题目，每题使用两个提示词、各运行五次，共 15,840 次评判运行。作者明确，这些测量仅针对单一基准和单一解码温度，并已说明该结果适用于与不适用于哪些情形。 该论文为 v2 版本，相较 v1 已大幅修订并更换标题，把原先的重复运行评测数据重新表述为方差分解，并补充了统计验证与实验细节。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。