研究提出以长尾性能评估LLM创造力

Yichen Wang等作者在arXiv发表论文，提出把LLM创造力统一刻画为参考输入-输出分布长尾上的任务特定表现，并以n-gram是否出现在预训练数据中作为新颖性代理。作者称，该框架在15个基准、26个开源权重模型上做了实证评估。 论文同时提出诊断指标q@Tail(α)，作者称其成本更低，衡量的是现有基准长尾部分上的平均任务质量。这些结论均来自作者自述，尚待外部验证。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。