HuggingFace Daily Papers(社区热门论文)·· 9 小时前AI 评分56
研究揭示分块 KV-cache 压缩导致模型出现周期性相位敏感弱位
Periodic Weak Spots: Phase Sensitivity from Chunked KV-Cache Compression
AI 导读
论文发现采用分块 KV-cache 压缩的模型存在相位敏感,检索准确率随压缩 stride 周期性波动,弱位置足以翻转答案。在 DeepSeek-V4 系列上,128K tokens 下最优与最差相位组差距达 15 到 40 个点;从零预训练的 0.6B 对照实验显示周期始终跟随 stride,full attention 各位置差距仅 6.1 个点而压缩模型可达 78 个点。
来源:HuggingFace Daily Papers(社区热门论文) · huggingface.co