跳到正文
热点事件持续更新

SlimKV:联合token-特征KV缓存压缩方法

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Zihan Teng 等作者发表论文提出 SlimKV,一种与问题无关的联合 token-特征 KV cache 压缩方法。该方法通过低秩感知训练,把长上下文压缩为带潜在 KV 表示的 beacon 记忆状态,并采用层自适应秩分配,同时免去重建步骤(Beacon Attention)。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月5日
  1. arXiv:cs.LG
    SlimKV:联合 token-特征 KV cache 压缩与免重建 Beacon Attention

    SlimKV 是一种与问题无关的联合 token-特征 KV cache 压缩方法,通过低秩感知训练将长上下文压缩为带潜在 KV 表示的 beacon 记忆状态,并采用层自适应秩分配。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。