SpecFold 加速扩散语言模型推测解码
热点事件持续更新
SpecFold 加速扩散语言模型推测解码
1 篇报道1 个报道来源6 小时前更新
先了解这件事
AI 综述
Chung-En Ho 等作者发布论文提出 SpecFold,通过折叠注意力与 FFN 选择性复用父分支计算,减少扩散语言模型多分支投机验证中的冗余。作者称其吞吐最高提升 1.64 倍(对比 Spiffy)和 1.99 倍(对比原始解码)。 该方法在五款模型、五个标准基准上保持任务性能相当,可与现有 DLLM 投机策略及时间缓存正交组合。
AI 根据报道生成 · 1 小时前更新
最新进展10月7日 12:00
SpecFold:折叠多分支冗余加速扩散语言模型投机解码报道时间线
沿着报道,了解事件的不同侧面。
10月7日
- arXiv:cs.LGSpecFold:折叠多分支冗余加速扩散语言模型投机解码
SpecFold 是一种算法-系统协同设计,通过折叠注意力与 FFN 选择性复用父分支计算,消除扩散语言模型多分支投机验证中的冗余,实现最高 1.64x(对比 Spiffy)和 1.99x(对比原始解码)的吞吐提升。该方法在五款模型、五个标准基准上保持任务性能相当,可与现有 DLLM 投机策略及时间缓存正交组合。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。