E8 格向量量化压缩 KV 缓存研究发布
热点事件持续更新
E8 格向量量化压缩 KV 缓存研究发布
1 篇报道1 个报道来源19 小时前更新
先了解这件事
报道摘要
研究者提出基于 E8 格点的向量量化（VQ）方法压缩 LLM 的 KV-Cache，在 2-bit 键和 2-bit 值的 k2v2 配置下实现约 6 倍 KV 压缩，比标量 k3v2 小约 20%，同时保持接近基线的长上下文困惑度。
摘自 arXiv：cs.AI
最新进展10月15日 12:00
E8 格点键量化实现低比特 KV-Cache 压缩报道时间线
沿着报道，了解事件的不同侧面。
10月15日
- arXiv：cs.AIE8 格点键量化实现低比特 KV-Cache 压缩
研究者提出基于 E8 格点的向量量化（VQ）方法压缩 LLM 的 KV-Cache，在 2-bit 键和 2-bit 值的 k2v2 配置下实现约 6 倍 KV 压缩，比标量 k3v2 小约 20%，同时保持接近基线的长上下文困惑度。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。