Stable Diffusion 创建动画视频

Deforum 是一种使用 Stable Diffusion 创建动画视频的工具。所有你需要提供的提示......

Deforum 是一种使用 Stable Diffusion 创建动画视频的工具。您只需要提供有关相机移动方式的提示和设置。

我们将完成制作此 deforum 视频的步骤。

这篇文章适用于之前没有制作过 deforum 视频的初学者。你将学习

• 什么是deforum。
• 如何在 AUTOMATIC1111 Stable Diffusion 上安装 deforum 扩展。
• 基本设置。
• 如何逐步创建您的第一个 deforum 视频。

什么是deforum？

Deforum是用于制作动画的开源和免费软件。它使用 Stable Diffusion 的图像到图像功能生成一系列图像并将它们拼接在一起以创建视频。

它对图像帧应用小的变换，并使用图像到图像功能创建下一帧。由于帧之间的变化很小，因此会产生连续视频的感觉。

如何安装 deforum？

我们将使用AUTOMATIC1111 GUI 的deforum 扩展。您可以在Windows、  Mac或 Google Colab上使用此 GUI  。

在 Google Colab 上使用 deforum

如果您使用快速入门指南中的 Colab 笔记本，只需在启动 AUTOMATIC1111 之前检查 Deforum 扩展。

就是这样！

启动后，您应该会在 AUTOMATIC1111 GUI 中看到Deforum 选项卡。

在 Windows 上安装 deforum

如果您在 Windows 上本地运行 AUTOMATIC1111，请按照这些说明安装 deforum。

第 1 步。打开**命令提示符 (cmd)**并将目录更改为stable-diffusion-webui. 如果您遵循该站点的安装指南，请运行

cd %userprofile%\stable-diffusion-webui

第 2 步。通过运行以下命令安装 deforum 扩展。

git clone https://github.com/deforum-art/deforum-for-automatic1111-webui extensions/deforum

重新启动 AUTOMATIC1111 GUI 后，您应该会看到 Deforum 选项卡。

在 Mac 上安装 deforum

如果您在 Mac 上本地运行 AUTOMATIC1111，请按照这些说明安装 deforum。

步骤 1.打开终端应用程序。导航到安装目录stable-diffusion-webui。如果您遵循了该站点的指南，请运行以下命令。

cd ~/stable-diffusion-webui

第 2 步。通过运行以下命令安装 deforum 扩展。

git clone https://github.com/deforum-art/deforum-for-automatic1111-webui extensions/deforum

重新启动 AUTOMATIC1111 GUI 后，您应该会看到 Deforum 选项卡。

生成测试视频

此步骤是可选的，但会让您大致了解在哪里可以找到我们将使用的设置。

第 1 步：在 AUTOMATIC1111 GUI 中，导航到Deforum页面。

第 2 步：导航到关键帧选项卡。

• 您将在页面的下半部分看到一个**“运动”选项卡。**您将在此处设置相机参数。
• 最大帧数是视频的帧数。较高的值会使视频更长。

您可以使用默认值。

第 3 步：导航到“提示”选项卡。您将看到一个提示列表，每个提示前面都有一个数字。编号为提示生效的帧数。

对于下面的提示，它将使用视频开头的第一个提示。然后它将切换到在第 30 帧使用第二个提示，在第 60 帧使用第三个提示，在第 90 帧使用第四个提示。

您可以按原样保留提示。

第 4 步：单击“生成”开始生成视频。

第 5 步：完成后，单击“生成”按钮上方的按钮以查看视频。

您可以通过单击右下角的三个垂直点将视频保存到本地存储。或者您可以在文件夹下的输出目录中找到您的视频img2img-images。

基本设置（附示例）

我们将首先完成两个最重要的设置

• 运动（2D 和 3D）
• 提示

在逐步学习创建视频的示例之前，对 Deforum 的功能有一些基本的了解很重要。

在本节中，您将看到更改一个参数同时保持其他所有参数不变的示例。这些是您视频的基石。

通过组合它们并在不同时间打开和关闭它们，您可以创建令人惊叹的视觉效果。

运动设置

运动设置是 Deforum 中最常用的一些选项。您可以通过简单地更改它们和提示来制作像样的视频。因此，您应该很好地掌握运动设置的工作原理以及它们的作用。

让我们介绍两种最常用的动画模式

• 2D – 将图像视为 2D 并执行各种变换，如缩放和旋转以创建运动幻觉。
• 3D – 将图像视为 3D 场景的视图。您可以在任何 3D 操作中移动相机的视口。

二维运动设置

二维缩放

使用缩放功能放大或缩小图像。使用大于 1 的缩放值进行放大，小于 1 进行缩小。

该值离 1 越远，缩放速度越快。

默认情况下，缩放聚焦在中心。您可以通过设置Transform Center X和Transform Center Y来控制焦点。我们将在几卷中介绍它们。

二维角度

使用2D 角度旋转图像。正值逆时针旋转图像，负值顺时针旋转图像。

值越大，图像旋转得越快。

默认情况下，旋转围绕图像的中心。您可以通过设置Transform Center X和Transform Center Y来控制旋转中心。我们将在几卷中介绍它们。

二维平移 X

使用 Translation X 将图像横向移动。使用正值将图像向右移动，使用负值将图像向左移动。

二维平移 Y

使用 Translation Y 上下移动相机。使用正值将图像向下移动，使用负值将图像向上移动。

二维变换中心

变换中心用于改变缩放和/或旋转的焦点。

X 和 Y 的默认值为 0.5，即图像的中心。(X, Y) = (0, 0) 是左上角，(1, 1) 是右下角。有关其他常见位置，请参见下图。

您可以指定小于 0 或大于 1 的值。它们将在图像之外。

下面是左上角 (0, 0) 和右下角 (1, 1) 放大的两个示例。

二维透视翻转

透视翻转对图像执行类似 3D 的变换以创建一些很酷的效果。

您将需要选择启用透视翻转以启用这些选项。

3D 运动设置

3D 运动是 2D 运动的替代方法。把它想象成你拿着相机。您可以随意移动和旋转相机。

3D 翻译 X

平移 X 将相机向侧面移动。正值将相机向右移动。负值将相机向左移动。

3D平移Y

Translation Y 上下移动相机。使用正值将相机向上移动。负值会将相机向下移动。

3D平移Z

3D 中的平移 Z 类似于 2D 运动中的缩放。

3D 旋转 X

旋转 X 围绕 X 轴旋转相机。

3D 旋转 Y

旋转 Y 使相机绕 Y 轴旋转。

3D 旋转 Z

旋转 Z 围绕 Z 轴旋转相机。

运动时间表

运动设置放在表格中

frame1:(value1), frame2:(value2), frame3:(value3), ...

每个条目由两个数字组成：frame它生效的数字和动议的value。每个条目的框架和值必须用冒号分隔，值必须用括号括起来。

您始终需要第 0 帧的条目。

您可以拥有任意数量的条目。

重要的是要注意，当您有两个条目或更多条目时，这意味着两个帧之间的插值。

例如，缩放中使用的以下公式表示在前 100 帧中将缩放值从 1 逐渐增加到 1.02，并在接下来的 100 帧中将缩放值减小回 1。

0:(1), 100:(1.02), 200:(1)

如果你想让一个新的缩放值从第 100 帧开始生效，你可以这样写：

0:(1), 99:(1), 100:(1.02), 150:(1.02), 151:(1), 200:(1)

此公式将仅在第 100 到 150 帧之间应用缩放效果。

每个设置都有自己的运动时间表。

飞涨：0:(1)

角度：0:(0)

转换中心 X：0:(0.5)

变换中心 Y：0:(1)

翻译 X:0:(0)

翻译 Y：0:(5), 60:(0)

Tips：不能只写180:(5)。写入 0:(0)、180:(5)。第一个条目必须是第 0 帧。

一个循序渐进的例子

第 1 步：生成初始图像

初始图像是您在 deforum 视频中可以完全控制的少数几件事之一。它也可以说是最重要的一个，因为它为动画的其余部分设置了基调和颜色。

花点时间在txt2img选项卡中生成一个好的起始图像。

在此示例中，我使用了以下提示。

亨利卡维尔作为詹姆斯邦德的肖像，赌场，关键艺术，短跑，棕榈树，非常详细，数字绘画，artstation，概念艺术，电影灯光，锐利的焦点，插图，by gaston bussiere alphonse mucha

而这个否定提示。

变形的，毁容的

将种子设置为随机 (-1)。

我使用Protogen v2.2 模型来呈现逼真的插画风格。

看到喜欢的图像后，请记下种子值（在上面的屏幕截图中突出显示）。

第 2 步：生成视频的第一段

**在“提示”**选项卡中输入提示。我决定在默认提示中重用第二个提示。提示是

{    “0”：“亨利卡维尔作为詹姆斯邦德的肖像，赌场，关键艺术，短跑，棕榈树，非常详细，数字绘画，artstation，概念艺术，电影照明，锐利的焦点，插图，由 gaston bussiere alphonse mucha --neg变形，毁容”，    “50”：“拟人化的干净猫，被分形包围，史诗般的角度和姿势，对称，3d，景深，阮嘉风华中”}

在第 50 帧中，提示切换为描述一只猫。

现在转到**“运行”**选项卡。

• 选择 Protogen 型号。
• 将种子设置为 2020548858。固定种子可以让您每次都从相同的图像开始，这样您就可以继续构建相同的视频。

因为我的詹姆斯邦德在初始图像中面向左侧，所以让相机向右移动很好。我们将使用3D 动画模型。

在关键帧选项卡中，

• 选择3D动画模式。
• 将最大帧设置为 100。这是为了生成足够的帧以查看前两个提示

在下方的**“运动”选项卡中，设置：**

• 将 X 翻译成0:(2). 这是为了将相机向右移动。
• 翻译 Z 到0:(1.75). 这是为了以较慢的速度放大。

保留其余0:(0)的无所事事。

按生成开始制作视频。

这是到目前为止的视频。

相机正在按照我们预期的方式移动。詹姆斯邦德很好地过渡到一只分形猫。

到目前为止，一切都很好。

第三步：添加下一个提示

现在在 txt2img 选项卡中集思广益下一个提示。

我决定过渡到太空场景会很好。这是最后的 deforum 提示。

{    “0”：“亨利卡维尔作为詹姆斯邦德的肖像，赌场，关键艺术，短跑，棕榈树，非常详细，数字绘画，artstation，概念艺术，电影照明，锐利的焦点，插图，由 gaston bussiere alphonse mucha --neg变形，毁容”，    “50”：“拟人化的干净猫，被分形包围，史诗般的角度和姿势，对称，3d，景深，阮嘉和风华中”，    “90”：“巨大的漂浮空间站，未来派，星球大战风格，非常详细，美丽的机器美学，在太空，星系，黑暗的深空 <lora:epiNoiseoffset_v2:1> --neg 糟糕的艺术，业余爱好者”}

（我在第三个提示中使用了epi_noiseoffset LoRA模型修改器。详细信息请参阅LoRA教程。）

设置以下参数

• 最大帧数为 250。
• 旋转 3D X到0:(0), 70:(0), 71:(0.5). 这在第 71 帧添加了旋转变化。

其余设置保持不变。下面是最终的运动设置。

按生成。

我们得到了最终的视频。

您通常会花费大量时间处理动作和提示以达到您想要的确切效果。

您可以重复此步骤并根据需要添加任意数量的提示。

尖端

• 具有大主题的提示比具有许多小对象的场景效果更好。
• 小细节会经常改变。这就是图像到图像的工作原理。因此，带有图案（如分形）或富有想象力的主题的提示往往作为第二个和后面的提示更有效。
• 如果您在提示转换期间看到伪影，将提示的帧移动几帧可能会消除伪影。
• 使用输出选项Make GIF制作动画 gif 。
• 使用Ouput 选项中的Delete Imgs选项自动删除中间图像，只保留视频。
• 使用输出选项添加音轨添加音轨。

有用资源

• FizzleDorf 的动画指南 – Deforum – 参数和设置的综合指南。
• 动画视频示例库——一些参数的视频示例。
• 官方网站
• deforum 快速指南——主要是关于 deforum Colab Notebook，但你也会找到参数的解释。
• Deforum Discord – 一个寻求帮助并查看其他人在做什么的好页面。
• Create Amazing Videos With AI (Deforum Deep-Dive) – Deforum 的创造者