360度无死角！UC伯克利华人发布3DHM框架：一张图片即可模仿任意视频动作

输入一张任意姿势的照片，想让照片里的人跟随「指定视频」来进行动作模仿并不简单，除了肢体动作的模仿外，模型还需要对运动过程中衣服、人物外观的变化进行建模。如果输入图像是正面的，而模仿的视频动作包括转身的话，模型还需要「想象」出衣服的背面样子，以及衣服在转动过程中飘起的样子。为了解决这个问题，来自加州大学伯克利分校的研究人员提出了一个两阶段的、基于扩散模型的框架3DHM，通过从单个图像完成纹理图来合成3D人体运动，然后渲染3D人体以模仿视频中actor的动作。论文地址：https://arxiv.org/abs/2401.108893DHM模型中包含两个核心组件：1. 学习人体和服装中不可见部分的先验知识。研究人员使用填充扩散（in-filling diffusion）模型，在给定的单张图像中想象（hallucinate）出不可见部分，然后在纹理图空间（texture map space）上训 ………………………………