研究者提出GAP方法并发布PutnamGAP基准
热点事件持续更新
研究者提出GAP方法并发布PutnamGAP基准
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Yuren Hao、Xiang Wan与ChengXiang Zhai提出GAP(Generalisation-and-Perturbation)方法,用表面重命名和内核重写两类可解释变换,自动批量生成数学等价题。基于1938至2024年全部1,051道Putnam竞赛题,他们构建了含6,306题的PutnamGAP语料,其中5,255题为未见过的等价变体,用于测试大模型数学推理的鲁棒性。 该工作以预印本形式发布于arXiv计算语言学分类,方法旨在检验模型面对同一题目的不同表述时能否给出等价结果。
AI 根据报道生成 · 2 小时前更新
最新进展10月9日 12:00
LLM 数学推理鲁棒性研究:用数学等价变换对高等数学题进行基准测试报道时间线
沿着报道,了解事件的不同侧面。
10月9日
- arXiv:cs.CLLLM 数学推理鲁棒性研究:用数学等价变换对高等数学题进行基准测试
研究者提出 GAP(Generalisation-and-Perturbation)方法,通过表面重命名和内核重写两类可解释变换自动生成数学等价变体;基于 1938 至 2024 年全部 1,051 道 Putnam 竞赛题构建了 6,306 题的 PutnamGAP 语料,含 5,255 个未见变体。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。