Dual-QK 提出可剪枝 2-bit KV 缓存量化方法
热点事件持续更新
Dual-QK 提出可剪枝 2-bit KV 缓存量化方法
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
Sunjoo Whang 等作者在 arXiv 发布论文，提出 Dual-QK：通过配对的非正交 query 与 key 变换，同时处理 INT2 量化下 key 尺度平衡与动态通道剪枝所需的 query 能量集中这两个目标。 作者称，在四个模型、五个生成基准和长上下文检索任务上，query 通道稀疏度 40% 时，Dual-QK 在多数任务上的准确率优于 OSCAR。在 128K 上下文下，它相对未剪枝 BF16 实现 6.8× KV-cache 压缩、KV 读取量约减少 8.3×；在评测配置下其 SGLang 实现解码吞吐最高达未剪枝 BF16 的 3.75×。这些效果均为论文所述评测条件下作者报告的结果。
AI 根据报道生成 · 1 小时前更新
最新进展10月8日 12:00
Dual-QK：用于可剪枝 2-bit KV Cache 的锐利查询与平坦键报道时间线
沿着报道，了解事件的不同侧面。
10月8日
- arXiv：cs.LGDual-QK：用于可剪枝 2-bit KV Cache 的锐利查询与平坦键
Dual-QK 通过配对的非正交 query 与 key 变换，兼顾 INT2 量化的 key 尺度平衡与动态通道剪枝所需的 query 能量集中。在 128K 上下文下，它实现 6.8× KV-cache 压缩、KV 读取量约减少 8.3×，其 SGLang 实现在评测配置下解码吞吐最高达未剪枝 BF16 的 3.75×。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。