跳到正文
热点事件持续更新

AsyncFC:无需改模型的异步函数调用框架

1 篇报道1 个报道来源19 小时前更新

先了解这件事

AI 综述

Guangyu Feng 等作者提出并公开 AsyncFC,一个纯执行层的 LLM 异步函数调用框架:将模型解码与函数执行解耦,在依赖允许时让解码与函数执行重叠,并实现函数间并行。该框架叠加在现有模型和未经修改的函数实现之上,无需微调,也不改动标准同步函数调用协议。 作者称,在编程任务上 AsyncFC 取得 1.4 倍端到端加速,同时保持任务准确率;此外显示出 LLM 具备对表示未完成执行结果的 symbolic futures 进行推理的能力。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月15日
  1. arXiv:cs.AI
    AsyncFC:无需改动模型的 LLM 异步函数调用框架

    AsyncFC 是一个纯执行层框架,将 LLM 解码与函数执行解耦,在依赖允许时实现模型解码与函数执行的 overlap 以及函数间并行。它叠加在现有模型和未经修改的函数实现之上,无需微调、也无需改动标准同步函数调用协议。在编程任务上,AsyncFC 取得 1.4 倍端到端加速并保持任务准确率,还显示 LLM 具备对表示未完成执行结果的 symbolic futures 进行推理的原生能力。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。