跳到正文
热点事件持续更新

DASC 状态压缩论文发布:KDA 检查点压缩 2.63 倍

1 篇报道1 个报道来源12 小时前更新

先了解这件事

AI 综述

Yanqi Yu 等作者发布论文,提出衰减感知状态压缩方法 DASC,用于混合线性注意力推理中的循环状态检查点压缩。作者称,DASC 通过分析 Gated DeltaNet(GDN)与 Kimi Delta Attention(KDA)的衰减结构,从模型权重推导保留时域、筛选长时域状态单元,并将其打包为不规则的状态检查点布局。 论文给出的结果是:KDA 循环状态检查点被压缩 2.63 倍,在检索与端到端推理基准上仍接近完整缓存水平。这些效果为论文报告,尚未见独立验证。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月12日
  1. arXiv:cs.AI
    DASC:面向混合线性注意力推理的衰减感知状态压缩

    DASC 通过分析 Gated DeltaNet(GDN)与 Kimi Delta Attention(KDA)的衰减结构,提出衰减感知状态压缩方法,将 KDA 循环状态检查点压缩 2.63 倍,在检索与端到端推理基准上仍接近完整缓存水平。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。