无标签混合精度量化新方法：表示漂移排序有效但主预算精度偏低

Hyojung Han、Jongmin Kim 与 Seung-Hun Jeon 提交论文，提出一种无需相关性标签的混合精度训练后量化方法：对单个模块量化后重新编码语料，记录输出嵌入偏离全精度位置的程度，以此作为模块敏感度信号，在固定打包字节预算下分配精度，不用标签也不做搜索。 在五个文本嵌入模型上，该方法对采样混合精度方案的排序达到 macro Spearman 0.911，并在三个嵌入模型上通过预注册方向性假设（主预算下 3/3）。但主预算下其数值比同预算均匀精度低 0.99、0.85、1.01 分。 研究者称，输出漂移是稳健的粗粒度敏感度信号，而非普遍最优的分配目标；它避免了迁移的有符号几何适配的灾难性失败，在均匀精度崩溃的紧张预算下仍可用，但围绕强均匀工作点的细粒度重分配仍未解决。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。