论文给出逐层量化补偿的均方保证与失效条件

Tianhao Guo 发表论文，分析逐层训练后量化中每层补偿前层继承量化误差的做法在什么假设下能保证网络输出误差不大于不补偿。论文称，对线性网络，在标定 Gram 矩阵可逆、每层舍入误差条件均值为零等条件下，预先固定的 [0,1] 强度补偿不劣于不补偿。 论文同时给出失效条件：使用 ReLU 激活时补偿会失效，原因包括噪声改变激活状态，以及即使激活状态不变、补偿也会把误差从单元未激活的样本转移到单元激活的样本；在有限码本下，即使每层有唯一精确最小解且无过载，输出误差也可能更大。论文称这些比较均以标定输入固定为前提。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。