香港消防规范LLM基准：闭源领先，开放题仅50-70%
热点事件持续更新
香港消防规范LLM基准：闭源领先，开放题仅50-70%
1 篇报道1 个报道来源21 小时前更新
先了解这件事
AI 综述
研究团队与领域专家合作发布了面向香港消防安全规范的本地化基准数据集，包含多选题与开放性问题，用于评估 12 款主流闭源与开源大模型在专业合规任务上的表现。 评测中，表现最好的闭源模型在多选题上准确率为 80-90%，开源模型普遍落后。 但在开放性问题部分，经专家人工评判后准确率仅为 50-70%，说明大模型在香港消防规范这类专业合规任务上仍有较大提升空间。
AI 根据报道生成 · 2 小时前更新
最新进展10月15日 12:00
香港建筑业消防安全规范解读基准测试：12 款 LLM 表现评估报道时间线
沿着报道，了解事件的不同侧面。
10月15日
- arXiv：cs.AI香港建筑业消防安全规范解读基准测试：12 款 LLM 表现评估
研究团队与领域专家合作构建了面向香港消防安全规范的本地化基准数据集，包含多选题与开放性问题，用于评估 12 款主流闭源与开源 LLM。表现最优的闭源模型在多选题上达到 80-90% 准确率，开源模型普遍落后；但开放性问题经专家人工评判后准确率仅为 50-70%，表明 LLM 在专业合规任务上仍有较大提升空间。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。