CAFE：把特征蒸馏限制在语言路由适配器

针对紧凑多语言 ASR 中特征蒸馏反而拖累 logit 蒸馏的问题，Tianchi Liu 等作者提出 CAFE（Confined-Adapter Feature distillation）：把 CKA 损失的梯度限制在英语绕过的适配器上，从参数而非损失层面化解这一权衡。 论文称在 254M 参数下，该模型落后 0.6B 教师模型 2 个 WER 点，并在 24 种语言、48 个测试集上与远大于自身的模型相当；训练使用 56.4 万小时数据和当前最优模型。这些结论均为作者自述，尚未见独立复现。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。