KPA 提出基于 Kronecker 积的 KV 缓存压缩
热点事件持续更新
KPA 提出基于 Kronecker 积的 KV 缓存压缩
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
Bahareh Nikpour 等作者在 arXiv 提交论文，提出 Kronecker Product Attention（KPA），将 key 和 value 激活表示为紧凑、与 token 相关的矩阵因子的 Kronecker 积之和，据称最高实现 10 倍 KV cache 压缩。作者称，KPA 严格推广了 TPA：rank-one 向量外积分解是 Kronecker 分裂的退化情形，而非退化矩阵因子可表示更丰富的块结构模式。 论文称，在相同训练条件下，KPA 在四个模型规模和九个下游基准上匹配或超过 TPA、MHA、MQA、GQA 和 MLA。Kronecker head 分裂被描述为可调超参数，让使用者在设计阶段权衡压缩与精度，无需改动架构。
AI 根据报道生成 · 1 小时前更新
最新进展10月12日 12:00
Kronecker Product Attention：通过结构化分解实现内存高效 KV 压缩报道时间线
沿着报道，了解事件的不同侧面。
10月12日
- arXiv：cs.LGKronecker Product Attention：通过结构化分解实现内存高效 KV 压缩
研究提出 Kronecker Product Attention（KPA），将 key 和 value 激活表示为紧凑、token 相关矩阵因子的 Kronecker 积之和，最高实现 10x KV cache 压缩。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。