研究者发布覆盖62种文化的谜语基准CulturalRiddles

研究者提出并公开了一个名为CulturalRiddles的多文化谜语基准，此题集完全由人类通过社区协作创作，覆盖62种文化、45个国家和51种语言，其目标是考察模型的溯因与组合推理、事实与社会知识以及文化特定联想能力。团队用自动评测和大规模人工评测测试了28种LLM配置，结果显示前沿模型在部分文化社区中的准确率最高仅22%。 研究者表示已公开全部成果，并开设开放贡献流程，用于扩展该基准的语言与文化覆盖范围。

AI 根据报道生成 · 51 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。