跳到正文
热点事件持续更新

GeoFitBench-LLM 地理数据需求基准发布

1 篇报道1 个报道来源10 小时前更新

先了解这件事

AI 综述

研究团队发布 GeoFitBench-LLM 基准,用于评估大语言模型能否从自然语言地理分析请求中推断所需数据集、支撑资源和约束条件。该基准基于时空关系与语义锚定两个推理维度,标准答案采用与数据提供方无关的固定 schema 编码。 在极简提示下测试七个模型,GPT-5.4 Thinking 表现最佳,66.67% 的请求能完整召回全部资源。研究团队称,随着推理需求增加,模型准确判断数据适用性仍然更困难。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月12日
  1. arXiv:cs.CL
    GeoFitBench-LLM:评估大语言模型地理空间数据需求获取能力的基准

    研究团队推出 GeoFitBench-LLM 基准,用于评估 LLM 能否从自然语言地理分析请求中推断所需数据集、支撑资源与约束条件,基于时空关系与语义锚定两个推理维度,并采用与数据提供方无关的固定 schema 编码标准答案。在极简提示下测试七个模型,GPT-5.4 Thinking 表现最佳,66.67% 的请求能完整召回全部资源;随着推理需求增加,准确判断数据适用性仍然更困难。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。