哥伦比亚法律LLM可靠性基准发布
热点事件持续更新
哥伦比亚法律LLM可靠性基准发布
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
研究者发布经专家验证的哥伦比亚法律基准，含1042道题，覆盖10个法律领域和三种题型，评测15个专有与开源模型。 闭卷选择题准确率从0.905（Gemini 3.1 Pro）到0.577，但自由文本法律答案的事实正确率均不超过0.45，答案相关性与正确性呈负相关（rho = -0.46），模型引用的法条仅约一半正确。 研究认为，当前LLM处理哥伦比亚法律任务仍需专家监督。
AI 根据报道生成 · 2 小时前更新
最新进展10月5日 12:00
LLM 懂哥伦比亚法律吗？面向哥伦比亚法律体系的可靠性基准测试报道时间线
沿着报道，了解事件的不同侧面。
10月5日
- arXiv：cs.AILLM 懂哥伦比亚法律吗？面向哥伦比亚法律体系的可靠性基准测试
研究者推出经专家验证的哥伦比亚法律基准，含 1042 道题、覆盖 10 个法律领域和三种题型，评测 15 个专有与开源模型。闭卷选择题准确率从 0.905（Gemini 3.1 Pro）到 0.577，但自由文本法律答案的事实正确率均不超过 0.45，且答案相关性与正确性呈负相关（rho = -0.46）。模型引用的法条仅约一半正确，研究认为当前 LLM 处理哥伦比亚法律任务仍需专家监督。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。