研究者提出四比特循环状态量化器PACE

研究者Patrick Haller等人提出后训练四比特循环状态量化器PACE，目标是降低循环状态量化带来的累积误差。其做法是每隔若干生成token才将循环状态舍入一次，并把中间token放入小缓冲；量化时按列共享scale，同时让保留误差最久的head维持八比特。 上述效果来自论文自述，报道未给出与其他量化方法的对比结果，也未说明该量化器适用的模型范围。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。