TR-PTQ：纯整数Transformer量化新方法
热点事件持续更新
TR-PTQ：纯整数Transformer量化新方法
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
Eliyahu Levy等人提出TR-PTQ，一种纯整数Transformer训练后量化方法：通过共享Taylor Region指数与对数原语，让除法和平方根等运算完全在log域内用标准整数算术完成，从而无需浮点硬件单元处理非线性层。 研究称，归一化层的学习缩放参数与GELU的复合近似是主要误差来源，而SoftMax对激进量化本身鲁棒。在视觉与语言基准上，该方法的绝对精度损失低于1.5%。
AI 根据报道生成 · 1 小时前更新
最新进展10月8日 12:00
TR-PTQ：通过 Taylor Region 重构实现高精度纯整数 Transformer 训练后量化报道时间线
沿着报道，了解事件的不同侧面。
10月8日
- arXiv：cs.LGTR-PTQ：通过 Taylor Region 重构实现高精度纯整数 Transformer 训练后量化
TR-PTQ 是一种纯整数 Transformer 训练后量化方法，通过共享 Taylor Region 指数与对数原语，让除法和平方根等运算完全在 log 域内用标准整数算术完成。研究指出归一化层的学习缩放参数与 GELU 的复合近似是主要误差来源，而 SoftMax 对激进量化本身鲁棒。该方法无需浮点硬件单元处理非线性层，在视觉与语言基准上绝对精度损失低于 1.5%。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。