跳到正文
热点事件持续更新

LORE-KV:免训练的未来感知KV缓存淘汰方法

1 篇报道1 个报道来源5 小时前更新

先了解这件事

AI 综述

Ahsan Bilal 等作者发布论文提出 LORE-KV,一种免训练的 KV 缓存淘汰方法。它从冻结的目标模型采样短自回归续写,用这些续写的响应侧 query 状态估计 prompt token 的效用,续写在最终解码前丢弃,因此不需要辅助模型或额外训练。 据论文数据,在六种稠密与混合注意力骨干模型上,LORE-KV 的单样本墙钟时间为 AnDPro 的 1.46–2.77 倍,属于一次性的压缩开销。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月7日
  1. arXiv:cs.AI
    LORE-KV:用蒙特卡洛估计优化 KV Cache 驱逐

    LORE-KV 是一种免训练的未来感知 KV cache 驱逐方法,通过从冻结目标模型采样短自回归续写、用其响应侧 query 状态估计 prompt token 效用,续写在最终解码前丢弃,无需辅助模型或训练。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。