NatScale 提出混合精度 MoE 量化分配框架

Renjie Xie 等研究者提出 NatScale，一个面向混合精度 MoE 量化的对比校准分配框架。针对混合精度 MoE 量化中专家排名无法决定误差权重的问题，该框架用模型专属幂变换将基于梯度的专家权重校准到信息论对比目标，并结合 gate、up、down 配置的联合误差估计与权重谱先验，在存储预算下选取精度配置。 以上为论文作者在 arXiv 上提交时的自述，尚未见独立验证其在真实模型上的量化效果。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。