DASC 状态压缩论文发布:KDA 检查点压缩 2.63 倍
热点事件持续更新
DASC 状态压缩论文发布:KDA 检查点压缩 2.63 倍
1 篇报道1 个报道来源12 小时前更新
先了解这件事
AI 综述
Yanqi Yu 等作者发布论文,提出衰减感知状态压缩方法 DASC,用于混合线性注意力推理中的循环状态检查点压缩。作者称,DASC 通过分析 Gated DeltaNet(GDN)与 Kimi Delta Attention(KDA)的衰减结构,从模型权重推导保留时域、筛选长时域状态单元,并将其打包为不规则的状态检查点布局。 论文给出的结果是:KDA 循环状态检查点被压缩 2.63 倍,在检索与端到端推理基准上仍接近完整缓存水平。这些效果为论文报告,尚未见独立验证。
AI 根据报道生成 · 2 小时前更新
最新进展10月12日 12:00
DASC:面向混合线性注意力推理的衰减感知状态压缩报道时间线
沿着报道,了解事件的不同侧面。
10月12日
- arXiv:cs.AIDASC:面向混合线性注意力推理的衰减感知状态压缩
DASC 通过分析 Gated DeltaNet(GDN)与 Kimi Delta Attention(KDA)的衰减结构,提出衰减感知状态压缩方法,将 KDA 循环状态检查点压缩 2.63 倍,在检索与端到端推理基准上仍接近完整缓存水平。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。