模型可联合生成视频与3D动作

研究提出一种模型，可为任意骨架绑定的角色联合生成视频与3D动作，并用相机把动作配准到场景中。作者称，该模型把支持任意骨架的3D运动模型与预训练视频模型用少量cross-attention层连接，并用视频、机器人和编辑数据构建了接近20万组训练对。 作者称，评估中从文本驱动多样骨架生成动作，比视频优先流程更忠实；该模型还能与场景互动、在视频与骨架动作之间互相转换，并支持关键帧控制。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。