arXiv：cs.LG（机器学习，全量分类）· Ran Ben Basat, Michael Mitzenmacher, Shay Vargaftik·· 1 天前AI 评分36
TORQUE：在旋转前后优化哪些坐标该（不）量化
TORQUE: Optimizing What (not) to Quantize Before and After Rotation
AI 导读
TORQUE 是一个在固定比特预算下联合优化旋转前后高精度保留坐标数量与位置的量化框架，通过推导量化误差上界并证明 top-k 旋转前保留对每个 k 都能最小化该上界，将坐标子集搜索简化为对 k 的优化。该方法使用离线码本和并行参数选择实现快速优化，在最近邻检索、KV-cache 压缩和激活压缩实验中改善了重建精度与存储成本的权衡。
来源：arXiv：cs.LG（机器学习，全量分类） · arxiv.org