AnimateDiff 是一种允许您使用预先存在的稳定扩散文本到图像模型创建视频的方法。

它通过将运动模块层插入冻结的文本转图像模型，并在视频片段上进行训练以提取运动先验来实现这一点。这些运动模块在稳定扩散 UNet 中的 ResNet 和注意力模块之后应用。其目的是在图像帧之间引入连贯的运动。为了支持这些模块，我们引入了 MotionAdapter 和 UNetMotionModel 的概念。它们可以方便地将这些运动模块与现有的稳定扩散模型结合使用。

注意：AnimateDiff 的 SDXL 检查点是测试版本。