跳到正文
热点事件持续更新

GeopoliticalQA情报报告问答基准发布

1 篇报道1 个报道来源10 小时前更新

先了解这件事

AI 综述

Veronika Solopova等研究者发布 GeopoliticalQA 基准,基于 415 份开源地缘政治与战略情报报告构建 5,525 条文档锚定问答对,覆盖事实、推断、比较和风险导向问题,用于情报报告的检索与生成评测。 在 15 个检索系统和 6 个开放权重 LLM 的 RAG 评测中,中等规模开源编码器 bge-m3 在块级检索上追平大一个数量级的模型并超越商用嵌入 API;但即使给定黄金证据,答案生成仍具挑战,推断与风险类问题尤其困难。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月12日
  1. arXiv:cs.CL
    GeopoliticalQA:面向情报报告的检索与生成基准

    研究者发布 GeopoliticalQA 基准,基于 415 份开源地缘政治与战略情报报告构建 5,525 条文档锚定问答对,覆盖事实、推断、比较和风险导向问题。在 15 个检索系统和 6 个开放权重 LLM 的 RAG 评测中,中等规模开源编码器 bge-m3 在块级检索上追平大一个数量级的模型并超越商用嵌入 API,而给定黄金证据后答案生成仍具挑战,推断与风险类问题尤甚。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。