Choice2Seq基准：选择正确未必构建正确

Tianyou Lai等作者在arXiv发布论文，提出诊断基准Choice2Seq及SCR指标，用于在相同问题和候选集上、独立运行中测量模型“完整答案选择”与“序列化构建”两类任务之间的正确性保持度。 论文报告称，Jev在算术与词汇检索上的选择准确率分别为97.1%和99.5%，但序列构建下仅保留33.0%和2.1%的正确选择；StartLux与Qwen也出现显著差距，即使Qwen直接输出字符时这一差距依然存在。 该结果指向一种被基准单独暴露的现象：模型能在候选中选出正确答案，却未必能在逐段构建输出时保持同一正确性。以上数值为作者论文中的报告结果。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。