跳到正文
热点事件持续更新

AvoKV-E:免训练KV缓存淘汰策略发布

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Han Yu等作者发布论文,提出免训练的KV缓存淘汰策略AvoKV-E,针对长输出推理中缓存瓶颈从固定提示词转向生成轨迹的问题:先延迟近期状态的淘汰资格,再按候选归一化读取压力、键冗余度和value负载潜力对条目排序。 作者称,在匹配的活跃KV预算下,AvoKV-E在不同模型和数据集上持平或超越冗余感知、复现式和思维自适应淘汰基线,缓存越紧张增益越大。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月5日
  1. arXiv:cs.LG
    AvoKV-E:面向长推理的负载感知 KV Cache 淘汰策略

    AvoKV-E 是一种免训练的 KV cache 淘汰策略,针对长输出推理中缓存瓶颈从固定提示词转移到生成轨迹的问题,先延迟近期状态的淘汰资格,再按候选归一化读取压力、键冗余度和 value 负载潜力对条目排序。在匹配的活跃 KV 预算下,AvoKV-E 在不同模型和数据集上持平或超越冗余感知、复现式和思维自适应淘汰基线,缓存越紧张增益越大。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。