AlignQuant:面向LLM的Tile对齐混合精度量化
热点事件持续更新
AlignQuant:面向LLM的Tile对齐混合精度量化
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
Hanzhi Zhang等作者发布论文提出AlignQuant,一种训练后量化方法,以GPU兼容的二维权重tile作为精度分配、紧凑存储与执行的统一单元。该方法在3B至14B四个LLM上实现最高2.50×的生成加速(对比BF16)并保持模型质量,评测覆盖三种GPU与最高64K token上下文。代码已开源。
AI 根据报道生成 · 2 小时前更新
最新进展10月7日 12:00
AlignQuant:面向高效 LLM 生成的 Tile 对齐混合精度量化报道时间线
沿着报道,了解事件的不同侧面。
10月7日
- arXiv:cs.LGAlignQuant:面向高效 LLM 生成的 Tile 对齐混合精度量化
AlignQuant 是一种训练后量化方法,以 GPU 兼容的二维权重 tile 作为精度分配、紧凑存储与执行的统一单元。该方法在 3B 至 14B 四个 LLM 上实现最高 2.50× 的生成加速(对比 BF16)并保持模型质量,评测覆盖三种 GPU 与最高 64K token 上下文。代码已开源。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。