芝加哥大学论文：LLM 自述决策关键因素不可靠

芝加哥大学的一篇论文称，LLM 对自己决策关键因素（cruxes）的预测，与它多次回答中实际变化的关键因素不一致。研究让模型对 59 场 March Madness 比赛和 15 个 Metaculus 事件多次生成预测后配对比较：模型事先预测的 cruxes 与真实 cruxes 的聚类重合率仅 13.4%，低于随机打乱的 39.2%；单条回答覆盖 28.6%，也低于 37.8% 的基线。 论文据此认为，LLM 自述“什么影响其决策”不能作为判断其答案实际分歧点的可靠依据。研究中用重排序器（reranker）完成这种匹配，估计比本地 LLM 评审少用约 86 倍算力。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。