arXiv发布Jev与19个通用LLM多选基准对比
热点事件历史事件
arXiv发布Jev与19个通用LLM多选基准对比
2 篇报道2 个报道来源27 天前更新
先了解这件事
AI 综述
arXiv 上发布的一篇论文将专用决策模型 Jev 与 19 个通用大语言模型在 13 个多选题基准上进行了对比评测。作者 Xing Li 等称，Jev 在知识与常识类评测中可与前沿 LLM 匹敌，并在 MMLU-Redux 和 ARC-Challenge 上取得最高分。 该评测覆盖知识、推理和多语言理解三类任务，对比模型按前沿、代表性和小型三个层级划分。上述结论来自论文作者自述，评测细节与复现条件仍以论文原文为准。
AI 根据报道生成 · 20 天前更新
最新进展10月9日 12:00
Jev 专用决策模型 vs 通用 LLM：知识、推理与多语言任务基准测试报道时间线
沿着报道，了解事件的不同侧面。
10月16日
- IT之家TypeSafe AI 发布 Jev 1.14 决策模型仅一天，Liquid AI 以 d1-ultra 全面超车
TypeSafe AI 于太平洋时间 10 月 14 日下午 1:14 发布 Jev 决策模型 1.14 预览版，支持图像输入、更长上下文和新的 "box" 类型。一天后，Liquid AI 推出号称"全球最佳"的决策模型 d1-ultra，在八类任务中表现均优于 Jev 1.14，整体也好于 vLLM Semantic Router d3 等竞品。
10月9日
- arXiv：cs.CLJev 专用决策模型 vs 通用 LLM：知识、推理与多语言任务基准测试
专用决策模型 Jev 在 13 个多选题基准上对标 19 个通用 LLM，在知识与常识类评测中可与前沿 LLM 匹敌，并在 MMLU-Redux 和 ARC-Challenge 上取得最高分。