LORE-KV:免训练的未来感知KV缓存淘汰方法
热点事件持续更新
LORE-KV:免训练的未来感知KV缓存淘汰方法
1 篇报道1 个报道来源5 小时前更新
先了解这件事
AI 综述
Ahsan Bilal 等作者发布论文提出 LORE-KV,一种免训练的 KV 缓存淘汰方法。它从冻结的目标模型采样短自回归续写,用这些续写的响应侧 query 状态估计 prompt token 的效用,续写在最终解码前丢弃,因此不需要辅助模型或额外训练。 据论文数据,在六种稠密与混合注意力骨干模型上,LORE-KV 的单样本墙钟时间为 AnDPro 的 1.46–2.77 倍,属于一次性的压缩开销。
AI 根据报道生成 · 2 小时前更新
最新进展10月7日 12:00
LORE-KV:用蒙特卡洛估计优化 KV Cache 驱逐报道时间线
沿着报道,了解事件的不同侧面。
10月7日
- arXiv:cs.AILORE-KV:用蒙特卡洛估计优化 KV Cache 驱逐
LORE-KV 是一种免训练的未来感知 KV cache 驱逐方法,通过从冻结目标模型采样短自回归续写、用其响应侧 query 状态估计 prompt token 效用,续写在最终解码前丢弃,无需辅助模型或训练。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。