跳到正文
原文
arXiv:cs.AI(全量分类)· Weihan Xu, Kan Jen Cheng, Koichi Saito, Jingyu Shi, Tingle Li, Yisi Liu, Liming Wang, Masato Ishii, Takashi Shibuya, Gopala Anumanchipalli, Paul Pu Liang·· 1 天前AI 评分29

AVIO:在音视频场景中学习添加与移除发声物体

AVIO: Learning to Add and Remove Sounding Objects in Audiovisual Scenes

AI 导读

研究团队提出 AVIO,通过源条件特征调制改造预训练文本到音视频生成模型,让单一模型同时学会添加和移除发声物体,并支持仅凭指令编辑或可选视觉引导。配套数据集 AVIOBench 包含 37.9 小时配对音视频样本、覆盖 1,878 个目标物体名称,用共享身份与视觉掩码关联物体的视觉存在与声音贡献。参考帧课程训练逐步减少参考条件,使模型在添加物体时可通过可选参考控制外观与位置。

来源:arXiv:cs.AI(全量分类) · arxiv.org