ChampionKV：按注意力头自适应分配KV缓存预算

Yuechuan Chen 等作者提交论文，提出 ChampionKV——一种输入自适应的按注意力头分配预算的 KV Cache 压缩方法，以观测窗口聚合的注意力得分作为注意力集中度的轻量代理，为注意力分散的 head 分配更大预算。该方法可直接接入 SnapKV、PyramidKV 等压缩器，不改变其 token 选择流程。 在 LongBench 和 RULER 上，两种 Champion 变体相对其 SnapKV、PyramidKV 基线均有提升，在 Llama3.1-70B-Instruct 上提升最大且统计显著，预算紧张时尤为明显；但在所测 7B/8B 模型上结果只是有竞争力且参差不齐。论文称 ChampionKV 并非在所有情况下都优于 Ada-KV，后者的跨头全局 Top-K 选择在若干设置中仍占优。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。