arXiv：cs.LG（机器学习，全量分类）· Nenad Banfic·· 1 天前AI 评分36
HeadGuard：面向低比特 VLM KV-Cache 量化的选择性注意力头保护
HeadGuard: Selective Head Protection for Low-Bit VLM KV-Cache Quantization
AI 导读
HeadGuard 是一种可组合的注意力头保护方法，通过离线选取约 1/8 的图像敏感与输出敏感 KV 头并保持其图像 key（可选 value）为 BF16 精度，来缓解低比特 KV-Cache 量化对 VLM 精度的损害。
来源：arXiv：cs.LG（机器学习，全量分类） · arxiv.org