vLLM 官方博客（RSS）· Or Ozeri, Danny Harnik, Ronen Schaffer, Itay Etelis, Varun Sundar Rabindranath·2026-09-10 08:00· 21 天前AI 评分56

vLLM 分层 KV Cache 卸载框架详解：自 v0.22 起可用

Tiered KV Cache Offloading in vLLM

AI 导读

vLLM 官方博客介绍其分层 KV cache 卸载框架，自 v0.22 起可用，将逐出的 KV 数据保存到主机内存、文件系统、对象存储或远程节点，避免重新计算。