研究者提出模型互出谜题评测框架 TTG
热点事件持续更新
研究者提出模型互出谜题评测框架 TTG
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
Simon Henniger 与 Gabriel Poesia 提出 The Token Games(TTG)评测框架:让语言模型互相出题、以编程解谜形式对决,再根据成对对决结果计算 Elo 评分,无需人工出题。 研究者在 10 个前沿模型上测试 TTG,称其排名与 Humanity's Last Exam 等现有基准高度吻合,成本不到 200 美元。研究同时发现,当前模型生成优质谜题仍相当困难。 上述排名吻合与低成本均为研究者的说法,尚待其他评测复现验证。
AI 根据报道生成 · 2 小时前更新
最新进展10月15日 12:00
The Token Games:用解谜对决评估语言模型推理能力报道时间线
沿着报道,了解事件的不同侧面。
10月15日
- arXiv:cs.AIThe Token Games:用解谜对决评估语言模型推理能力
研究者提出 The Token Games(TTG)评估框架,让模型互相出题、以编程解谜形式对决,再用成对对决结果计算 Elo 评分。在 10 个前沿模型上,TTG 排名与 Humanity's Last Exam 等现有基准高度吻合,成本不到 200 美元且无需人工出题。研究同时发现,当前模型生成优质谜题仍相当困难。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。