vLLM 新系统 KV-Repurpose 支持非前缀缓存复用

Taiga Ikeda 等人发布开源系统 KV-Repurpose，用于开发和评测超越精确前缀的 segment 级 KV-cache 复用。该系统基于 vLLM，把缓存复用从只有完全匹配前缀才能命中的模式，扩展到以段为单位的复用，并结合缓存感知段调度、提示词构建、容量管理与运行时监控。 按论文说明，KV-Repurpose 的源代码以 Apache-2.0 许可证开放。目前公开信息只是该系统的发布与设计介绍，尚未见复用效果在具体模型和工作负载上的验证数据。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。