研究：LLM新颖性评估极不稳定
热点事件持续更新
研究：LLM新颖性评估极不稳定
1 篇报道1 个报道来源15 小时前更新
先了解这件事
AI 综述
一项受控研究发现，基于LLM的新颖性评估极不稳定：仅改变提示词中的暗示，同一想法对的判定就超过半数发生翻转，成对准确率波动可超50个百分点，有时甚至低于随机水平。研究在六个评审模型上测试，检索和更大推理预算帮助有限，两个专门构建的新颖性评估器表现还不如最便宜的提示词基线。 该结果对自动化创意系统所报告的新颖性提升提出质疑，说明此类评估结论高度依赖提示词设计，不能直接视为想法的客观属性。
AI 根据报道生成 · 1 小时前更新
最新进展10月15日 12:00
研究发现基于 LLM 的新颖性评估极不稳定：提示词设计可使准确率波动超 50 个百分点报道时间线
沿着报道，了解事件的不同侧面。
10月15日
- arXiv：cs.CL研究发现基于 LLM 的新颖性评估极不稳定：提示词设计可使准确率波动超 50 个百分点
一项受控研究发现，基于 LLM 的新颖性评估极不稳定：仅告知评审认为某一想法新颖、另一想法不新颖，就能让同一想法对的判定超过半数发生翻转，成对准确率波动超 50 个百分点，有时甚至低于随机水平。研究在六个评审模型上测试，发现检索和更大推理预算帮助有限，两个专门构建的新颖性评估器还不如最便宜的提示词基线。该结果对自动化创意系统所报告的新颖性提升提出质疑。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。