研究量化语音-文本语言模型的生成模态差距

Ju-Chieh Chou、Jiawei Zhou 与 Karen Livescu 发表论文，研究基于流匹配生成连续声学特征的语音语言模型的语音-文本模态差距。研究者构建统一生成式评测套件，在匹配数据分布和生成设置下对比纯语音、纯文本与语音-文本语言模型。 结果显示，联合语音-文本建模显著提升语义连贯性，并在基于转写的语义连贯性上缩小了与更大规模纯语音模型的扩展差距；但音素级指标变化有限，说话人相似度和预测质量下降，情感分布指标则有所改善。该研究已被 SLT 2026 接收。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。