FOLD:免训练长上下文推测解码方法
热点事件持续更新
FOLD:免训练长上下文推测解码方法
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Shuxuan Li 等提出免训练的长上下文推测解码方法 FOLD。该方法在保留精确局部位置的同时,把远端条目当作共享位置的远记忆,并用锐化注意力缓解记忆增长导致的注意力稀释。 在六组 target-drafter 组合和最高 256K token 的多种基准上,FOLD 大多取得最高加速比,最佳情况较自回归解码的加速从 2.08× 提升至 4.22×。
AI 根据报道生成 · 1 小时前更新
最新进展10月15日 12:00
FOLD:面向长上下文投机解码的免位置远记忆方法报道时间线
沿着报道,了解事件的不同侧面。
10月15日
- arXiv:cs.LGFOLD:面向长上下文投机解码的免位置远记忆方法
FOLD 是一种免训练的投机解码方法,在保留精确局部位置的同时,将远端条目视为共享位置的远记忆,并通过锐化注意力缓解记忆增长带来的注意力稀释。在六组 target-drafter 组合和最高 256K token 的多种基准上,FOLD 大多取得最高加速比,最佳情况较自回归解码加速从 2.08× 提升至 4.22×。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。