路由稀疏自编码器解耦语音语言与副语言信息

Beimnet Bekele Guta 等研究者提交论文，提出把 TopK 稀疏自编码器与路由专属监督、跨因子对抗训练结合，在冻结的 SPEAR 和 WavLM 编码器上解耦语音中的语言学与副语言学信息。 独立探针显示：语言学信息在语言学路由中更强；说话人身份、情感、韵律等副语言因子保留在副语言路由，并在语言学路由中大幅减少。在 LibriSpeech 上习得的路由组织迁移到 MSP-Podcast 时，无需在表示侧重新训练。特征空间的路由干预还可转移被交换的因子，同时基本保留未改动路由所携带的信息。 该论文处于投稿阶段。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。