AvoKV-E:免训练KV缓存淘汰策略发布
热点事件持续更新
AvoKV-E:免训练KV缓存淘汰策略发布
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Han Yu等作者发布论文,提出免训练的KV缓存淘汰策略AvoKV-E,针对长输出推理中缓存瓶颈从固定提示词转向生成轨迹的问题:先延迟近期状态的淘汰资格,再按候选归一化读取压力、键冗余度和value负载潜力对条目排序。 作者称,在匹配的活跃KV预算下,AvoKV-E在不同模型和数据集上持平或超越冗余感知、复现式和思维自适应淘汰基线,缓存越紧张增益越大。
AI 根据报道生成 · 1 小时前更新
最新进展10月5日 12:00
AvoKV-E:面向长推理的负载感知 KV Cache 淘汰策略报道时间线
沿着报道,了解事件的不同侧面。
10月5日
- arXiv:cs.LGAvoKV-E:面向长推理的负载感知 KV Cache 淘汰策略
AvoKV-E 是一种免训练的 KV cache 淘汰策略,针对长输出推理中缓存瓶颈从固定提示词转移到生成轨迹的问题,先延迟近期状态的淘汰资格,再按候选归一化读取压力、键冗余度和 value 负载潜力对条目排序。在匹配的活跃 KV 预算下,AvoKV-E 在不同模型和数据集上持平或超越冗余感知、复现式和思维自适应淘汰基线,缓存越紧张增益越大。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。