跳到正文
热点事件持续更新

FOLD:免训练长上下文推测解码方法

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Shuxuan Li 等提出免训练的长上下文推测解码方法 FOLD。该方法在保留精确局部位置的同时,把远端条目当作共享位置的远记忆,并用锐化注意力缓解记忆增长导致的注意力稀释。 在六组 target-drafter 组合和最高 256K token 的多种基准上,FOLD 大多取得最高加速比,最佳情况较自回归解码的加速从 2.08× 提升至 4.22×。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月15日
  1. arXiv:cs.LG
    FOLD:面向长上下文投机解码的免位置远记忆方法

    FOLD 是一种免训练的投机解码方法,在保留精确局部位置的同时,将远端条目视为共享位置的远记忆,并通过锐化注意力缓解记忆增长带来的注意力稀释。在六组 target-drafter 组合和最高 256K token 的多种基准上,FOLD 大多取得最高加速比,最佳情况较自回归解码加速从 2.08× 提升至 4.22×。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。