CanonQ低比特量化训练框架论文发布
热点事件持续更新
CanonQ低比特量化训练框架论文发布
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
研究者 Kai Yi 等人发布论文，提出统一量化感知训练框架 CanonQ，通过将源规范化与任务自适应分离、把异构张量源映射到规范坐标，使冻结的高斯参考码本可跨层跨模型复用。 论文称，在 W2A4KV2 联合压缩下，CanonQ-Omni 在 LLaMA3-1B/3B/8B 上实现最高 14.28 倍的 WikiText-2 困惑度降低，零样本平均准确率最高提升 57.9%。这些效果为作者在论文中的报告，尚待独立验证。
AI 根据报道生成 · 1 小时前更新
最新进展10月8日 12:00
CanonQ：面向 W2A4KV2 极端低比特 LLM 压缩的统一量化感知训练框架报道时间线
沿着报道，了解事件的不同侧面。
10月8日
- arXiv：cs.CLCanonQ：面向 W2A4KV2 极端低比特 LLM 压缩的统一量化感知训练框架
研究者提出 CanonQ，一个统一量化感知训练框架，通过将源规范化与任务自适应分离，把异构张量源映射到规范坐标，使冻结的高斯参考码本可跨层跨模型复用。在最强的 W2A4KV2 联合压缩下，CanonQ-Omni 在 LLaMA3-1B/3B/8B 上实现最高 14.28 倍的 WikiText-2 困惑度降低和最高 57.9% 的零样本平均准确率提升。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。