跳到正文
热点事件持续更新

SchemaWeaver:移动端工具调用并行解码提速

1 篇报道1 个报道来源15 小时前更新

先了解这件事

AI 综述

Boyuan Yang 与 Wei Gao 发表论文提出 SchemaWeaver,一种在 LLM 工具调用解码阶段执行 Schema 引导并行解码的端侧移动智能体技术,每次解码生成多个 token 以降低延迟,据其论文称在主流移动 SoC 与 LLM 系列上相比竞争基线最高降低 3.9 倍工具调用延迟。 该技术无需训练或修改 LLM,即可应用于移动端推理引擎。上述加速幅度为论文中的实验结论,尚未见独立验证。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月15日
  1. arXiv:cs.AI
    SchemaWeaver:通过 Schema 引导的并行解码加速端侧移动智能体 AI

    SchemaWeaver 是一种端侧移动智能体 AI 技术,通过在 LLM 工具调用的解码阶段执行 Schema 引导的并行解码,每次解码生成多个 token 以降低延迟。它无需训练或修改 LLM 即可应用于移动端推理引擎,在主流移动 SoC 和 LLM 系列上相比竞争基线最高降低 3.9 倍工具调用延迟。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。