AnimateDiff: 让你的个性化文本生成图像模型动起来!

随着文本生成图像模型(如Stable Diffusion)和相应的个性化技术(如LoRA和DreamBooth)的快速发展,如今每个人都能以相对低廉的成本将自己的想象转化为高质量的图像。然而,这些生成的图像都是静止的,无法展现动态的运动和变化,因此对于图像动画技术的需求与日俱增,人们期望能够赋予生成图像以生动的动态效果。为此,我们提出了一种高效的框架,只需一次性微调,即可使现有的个性化文本生成图像模型获得生成动画序列的能力,无需为每个模型单独进行训练。AnimateDiff框架的核心思想是:在现有的文本生成图像模型中冻结参数,然后为其附加一个新的运动建模模块(Motion Modeling Module),该模块的参数是随机初始化的。接下来,AnimateDiff在视频数据集上训练这个运动建模模块,使其能够学习到合理的运动模式。训练完成后,通过简单地注入这个运动建模模块,原本的文本生 ………………………………