LLM实体抽取预注册评测：旗舰模型也未缩小差距
热点事件持续更新
LLM实体抽取预注册评测：旗舰模型也未缩小差距
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
Jiahong Qian 发布了一项预注册冻结评测，用 DeepSeek-V4-Flash、GLM-5.3-Flash 与旗舰级对照 GPT-6.1-Sol 在 354 个事件活动语料（315 份唯一报告、630 次模型-报告评估）上测试 LLM 实体抽取。结果显示抽取质量 micro precision 仅 0.03–0.34，置信校准误差 ECE 为 0.53–0.94，旗舰层级并未缩小与低成本模型之间的差距。 评测同时考察抽取质量、置信度校准和对单句扰动的稳健性。作者称代码、协议与冻结评测数据将公开。
AI 根据报道生成 · 2 小时前更新
最新进展10月15日 12:00
从不可靠到可用：分解 LLM 实体抽取的失败模式与置信信号——来自网络威胁情报的证据报道时间线
沿着报道，了解事件的不同侧面。
10月15日
- arXiv：cs.CL从不可靠到可用：分解 LLM 实体抽取的失败模式与置信信号——来自网络威胁情报的证据
一项预注册冻结评测用 DeepSeek-V4-Flash、GLM-5.3-Flash 及旗舰级对照 GPT-6.1-Sol 在 354 个事件活动语料上测试 LLM 实体抽取，micro precision 仅 0.03-0.34，置信校准误差 ECE 为 0.53-0.94，旗舰层级并未缩小差距。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。