音视频轮流发言预测在鸡尾酒会场景的评测研究

Long-Vu Hoang 与 Naomi Harte 发表研究，评测在干净数据上训练的音视频轮流发言预测模型（PTTM）在鸡尾酒会噪声场景下的表现。测试平台基于 AVCocktail 数据集构建，结果显示噪声条件下音频和视觉模态性能一致下降，加权 F1 最多相对降低 38%。 研究还分析了模型向新领域的适应行为：在新领域上微调可提升鲁棒性，但增益因模态而异，且取决于可用预训练数据的规模。作者称所有代码和轮次标注已公开。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。