SUR提出低预算修复KV缓存

Han Yu等作者在arXiv发表论文，提出预算化KV缓存修复（budgeted KV-cache repair）方法，通过重算保留后缀中用户选定比例的部分来恢复任务表现，并给出名为Semantic-Unit Refresh（SUR）的具体方案。其核心发现是：刷新连贯语义区域的效果远优于刷新孤立token。 论文称，在五个模型上的受控删除任务中，SUR仅重算后缀的2%至5%即可实现较强恢复；在四个自然多跳问答数据集上，5%预算下可达到接近全量重算的exact match，且编辑后延迟更低。上述均为论文报告的结果。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。