JOVE:LLM任务图联合执行与验证框架
热点事件持续更新
JOVE:LLM任务图联合执行与验证框架
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Haoran Zhang 等作者提交预印本论文,提出 JOVE 在线框架:把复杂推理查询拆成有向无环任务图,分配给不同 LLM 执行,同时挑选中间输出做付费验证,验证异步进行并反馈以优化后续分配。 该框架用逐查询混合整数线性规划做决策,在长期预算和单查询延迟约束下权衡执行开销与学习收益,论文称证明了次线性的质量学习 regret。 作者报告在四个推理基准上,JOVE 精度与标准推理基线相当,平均成本与延迟至少降低 3.17 倍。上述效果为论文自述,尚未经独立验证。
AI 根据报道生成 · 56 分钟前更新
最新进展10月5日 12:00
JOVE:面向资源感知 LLM 任务图的联合执行与验证框架报道时间线
沿着报道,了解事件的不同侧面。
10月5日
- arXiv:cs.LGJOVE:面向资源感知 LLM 任务图的联合执行与验证框架
JOVE 是一个在线框架,将复杂推理查询分解为有向无环任务图并分配给异构 LLM,同时联合选择中间输出进行付费验证,验证异步运行并反馈用于优化后续分配。它通过求解逐查询混合整数线性规划做决策,在长期预算和单查询延迟约束下平衡执行开销与学习收益,并证明了次线性的质量学习 regret。在四个推理基准上,JOVE 精度与标准推理基线相当,平均成本与延迟至少降低 3.17 倍。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。