跳到正文
热点事件持续更新

SpecFold 加速扩散语言模型推测解码

1 篇报道1 个报道来源6 小时前更新

先了解这件事

AI 综述

Chung-En Ho 等作者发布论文提出 SpecFold,通过折叠注意力与 FFN 选择性复用父分支计算,减少扩散语言模型多分支投机验证中的冗余。作者称其吞吐最高提升 1.64 倍(对比 Spiffy)和 1.99 倍(对比原始解码)。 该方法在五款模型、五个标准基准上保持任务性能相当,可与现有 DLLM 投机策略及时间缓存正交组合。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月7日
  1. arXiv:cs.LG
    SpecFold:折叠多分支冗余加速扩散语言模型投机解码

    SpecFold 是一种算法-系统协同设计,通过折叠注意力与 FFN 选择性复用父分支计算,消除扩散语言模型多分支投机验证中的冗余,实现最高 1.64x(对比 Spiffy)和 1.99x(对比原始解码)的吞吐提升。该方法在五款模型、五个标准基准上保持任务性能相当,可与现有 DLLM 投机策略及时间缓存正交组合。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。