研究：MCQ评测准确率与顺序敏感性不同步
热点事件持续更新
研究：MCQ评测准确率与顺序敏感性不同步
1 篇报道1 个报道来源22 小时前更新
先了解这件事
AI 综述
一项发表在 arXiv 的研究在 MMLU 和 ARC-Challenge 上测试了两个闭源模型和两个开源权重模型，发现 LLM 多项选择评测中准确率与顺序敏感性并不同步变化。 作者 Karl Hanna 和 Chen Feng 称，两阶段提示词降低了 GPT 在 MMLU 上的 flip rate 和 RStd，但准确率没有显著变化；为直接作答加入推理后，Llama 在 MMLU 上的 flip rate 统计上无差异，RStd 却大幅下降。 这表明仅凭准确率无法反映模型对选项顺序的敏感程度，二者需分别评估。
AI 根据报道生成 · 43 分钟前更新
最新进展10月15日 12:00
LLM 多项选择评测中准确率与顺序敏感性为何背离？GPT 与 Llama 在 MMLU、ARC-Challenge 上的实证研究报道时间线
沿着报道，了解事件的不同侧面。
10月15日
- arXiv：cs.AILLM 多项选择评测中准确率与顺序敏感性为何背离？GPT 与 Llama 在 MMLU、ARC-Challenge 上的实证研究
研究在 MMLU 和 ARC-Challenge 上测试两个闭源模型与两个开源权重模型，发现准确率与顺序敏感性并不同步变化：两阶段提示词降低了 GPT 在 MMLU 上的 flip rate 和 RStd，准确率却无显著改变；为直接作答加入推理后，Llama 在 MMLU 上的 flip rate 统计上无差异，RStd 却大幅下降。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。