arXiv：cs.AI（全量分类）· Jiajun Wu, Jian Yang, Zixiang Ni, Zhenzhu Li, Bin Chong·· 3 小时前AI 评分48
CARAT：材料 LLM 是在推理还是背诵？
CARAT: Do Materials LLMs Reason or Recite?
AI 导读
CARAT 基准通过八种匹配视图固定问题与标准答案，检验材料 LLM 究竟是从晶体结构推理还是照抄输入中已印出的答案。在最难的题目族上，有结构依据的视图比公式输入高出 17.3 分；GraphSpace 比普通周期图高 19.3 分，但该差距主要来自基线缺失字段（缺失处 46.7 分，完整处仅 1.96 分）。
来源：arXiv：cs.AI（全量分类） · arxiv.org