已开源！可控视频生成新SOTA，给定参考人物图像即可定制高质量跳舞视频

文章预览

随着视频生成技术的不断进步，可控跳舞视频合成也逐渐成为一项非常有吸引力的任务，受到了很多研究者的关注。给定一张参考人物图像和一段人体姿态序列，该任务旨在生成遵循给定的条件的时序连续且高保真的视频。 最近，来自华中科技大学、阿里巴巴、中国科学技术大学的研究团队提出了一种名为 UniAnimate 的全新框架，通过统一视频扩散模型来实现高效且长时的跳舞视频生成。该框架克服了目前可控跳舞视频合成领域高效性和保真度瓶颈，性能优于 MagicAnimate、Animate Anyone、Champ 等，为使用者带来了更广泛的应用前景。 论文地址： https://arxiv.org/abs/2406.01188 项目主页： https://unianimate.github.io/ Github地址： https://github.com/ali-vilab/UniAnimate 传统的跳舞视频合成技术通常采样类似于 ControlNet 的范式，需要一个额外的参考模型来对齐身份图像和主干视 ………………………………