Apple 如何通过潜空间蒸馏压缩流式神经音频编码器

Apple 提出一种潜空间蒸馏方法压缩流式神经音频编码器：不监督离散 token 或输出分布，而是让学生编码器回归教师模型每帧的量化前潜表示，并用单层仿射层吸收师生宽度差异。在 2.8× 压缩下，六组师生配对中有五组无需微调即保持在教师 1.9% 相对 WER 以内，并比同容量独立训练编码器相对提升 3.9%。该方案同时适用于单独预训练和与语言模型联合训练的 tokenizer。