研究指现有CQA基准偏简单 并提出新基准

Cosimo Gregucci 等作者研究发现，知识图谱复杂查询问答（CQA）的现有基准并不如设想中复杂：部分查询类型中高达 98% 的查询可归约为链接预测等更简单问题。这些作者称，在无法归约的查询上，当前 SOTA CQA 模型性能大幅下降。 作者据此提出一组需多跳推理的新基准，称其更贴近真实知识图谱的构建方式。系统性实验显示，现有方法在新基准上仍有明显不足。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。