CARAT基准检验材料LLM是推理还是背诵

2026年10月1日，arXiv cs.AI 分类发布 CARAT 基准，用于检验材料领域大语言模型究竟是从晶体结构推理，还是照抄输入中已印出的答案。该基准通过八种匹配视图固定问题与标准答案。在最难的题目族上，有结构依据的视图比公式输入高出 17.3 分；GraphSpace 比普通周期图高 19.3 分。但报道指出，这一差距主要来自基线缺失字段：缺失处得分为 46.7 分，完整处仅为 1.96 分。目前进展停留在基准发布与初步结果披露阶段。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。