预注册研究：提示优化器破坏未评分要求

一项预注册研究在 HotpotQA、SQuAD 2.0 和 IFEval 上测试 GEPA、MIPROv2、TextGrad 三个提示优化器，按预设标准三者均出现回归。在 HotpotQA 上，引用有效率净下降 10.7 至 41.6 分，而 exact match 上升 21 至 34 分。 研究称，这源于生成输出超出 200 token 上限：该设置下 13.9% 至 47.0% 的回答在给出答案前就结束，造成提取失败。将上限提高到 1,024 token 后，提取失败消失，内容回归低于 1 分，exact match 进一步上升；在可解析输出中，净回归在 0 的 3 分以内。 该结果仅适用上述三项任务、三个优化器和 token 上限设置，不意味着其他场景同样如此。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。