ProloNg测试台评测LLM长程演绎推理
热点事件持续更新
ProloNg测试台评测LLM长程演绎推理
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
研究团队构建 ProloNg 合成测试平台，用 Prolog 探测大语言模型的长程演绎推理能力，最难案例推理深度达 22、上下文长度 62k，测试覆盖 5 个前沿 LLM 家族的 8 个推理模型。 结果显示，随推理深度增加模型性能大幅下降，多数模型在深度超过 10 后接近随机水平。
AI 根据报道生成 · 2 小时前更新
最新进展10月9日 12:00
用 Prolog 探测语言模型的长程演绎推理能力报道时间线
沿着报道，了解事件的不同侧面。
10月9日
- arXiv：cs.CL用 Prolog 探测语言模型的长程演绎推理能力
研究团队构建 ProloNg 合成测试平台，用 Prolog 探测 LLM 的长程演绎推理能力，最难案例推理深度达 22、上下文长度 62k。测试覆盖 5 个前沿 LLM 家族的 8 个推理模型，发现随推理深度增加性能大幅下降，多数模型在深度超过 10 后接近随机水平。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。