审计：LLM评测受模态与搜索干扰

一项预印本审计研究称，对同一款广泛使用的大模型，ChatGPT 聊天 UI 与 OpenAI API 两种访问模态、开启与关闭网页搜索会得出不同评测结果：启用网页搜索使准确率最多下降 8 个百分点，并在其中一项基准上逆转了模态间的表现趋势。 该研究从 BBQ 和 SafetyBench 分层抽取 401 条提示词，每条重复三次，共收集 4,812 条回复；同一提示词重复运行最多在 21% 的提示上产生不一致回答。研究据此指出，基准测试通常未测量的模态、搜索、引用与放弃回答等条件会影响安全评估结论。上述数字均为作者在论文中的报告。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。