研究：大模型答州政策会套用他州数值

一项由 Jiayu Feng 提交、发布在 arXiv cs.CL 的测量研究称，用固定措辞、只更换美国 51 个司法辖区的极简设计测试三项 Medicaid 收入资格数值时，Claude Sonnet 5.5 与 GPT-5.6 Sol 在 153 个项目中分别有 10 项和 25 项可复现地给出其他州的当前数值，两次独立重复结果完全一致。 研究称，回答所对照的标准值来自一份官方数据手册，并在 102 个抽查单元格中有 101 个与独立来源一致。研究还称，把任何等于其他州数值的错误答案都计为跨州替换，会得到比逐项核对该州自身记录多 3 至 5 倍的可复现替换，因为许多看似跨州的答案其实是被问州在另一口径或更早年份下的自身数值。 研究者表示将公开测量协议、标准值表和全部模型输出。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。