Stable Diffusion 通过 参考视频生成视频

使用Stable Diffusion将视频转换为动画从未如此简单。您将在本文中找到 3 种视频到视频技术的分步指南。

• ControlNet-M2M script
• ControlNet img2img
• Mov2mov 扩展
• SD-CN Animation 扩展
• Temporal Kit

它们都使用类似的方法，在ControlNet的帮助下单独转换每个视频帧。

在文章的最后，我将调查其他用于Stable Diffusion的视频转视频方法。

现在您将看到每种方法的示例视频。以下是原始视频。

（如果您想在教程中使用该视频，请在此处下载。）

下面是使用方法 1： ControlNet-M2M script方法的示例。

下面是使用方法 2 的示例：ControlNet img2img。

下面是使用方法 3： mov2mov 扩展的示例。

下面是使用方法4： SD-CN Animation扩展的示例。

以下是方法 5：Temporal Kit的示例。

软件

您将需要 AUTOMATIC1111 Stable Diffusion GUI。

您可以在Windows、  Mac或 Google Colab上使用此 GUI  。

您需要安装 ControlNet 扩展。请按照ControlNet 文章中的安装说明进行操作。

方法 1：ControlNet m2m script脚本

这种视频生成视频的方法使用起来更简单，但闪烁量较高。

我们将使用以下视频。

第 1 步：更新 A1111 设置

在 AUTOMATIC1111 中使用controlnet m2m脚本之前，您必须转至设置> ControlNet。选择以下两个选项。

• 不将检测图附加到输出Do not append detectmap to output：是
• 允许其他脚本控制此扩展Allow other script to control this extension：是

第一个选项禁止将控制图像保存到图像输出文件夹，因此您可以更轻松地抓取帧图像。

第二个设置让 controlnet m2m 脚本将视频帧提供给 ControlNet 扩展。

单击应用设置。重新加载 Web-UI 页面。

步骤 2：将视频上传到 ControlNet-M2M

在 AUTOMATIC1111 Web-UI 中，导航到txt2img页面。

在脚本下拉菜单中，选择ControlNet m2m脚本。

展开 ControlNet-M2M 部分。

将 mp4 视频上传到 ControlNet-0 选项卡。

步骤 3：进入 ControlNet 设置

展开 ControlNet 部分。输入以下设置：

启用Enable：是

像素完美Pixel Perfect：是

控制类型Control Type: 艺术线条Lineart

预处理器Preprocessor：现实线条lineart realistic

模型Model：control_xxxx_lineart

控制权重Control weight：0.6

对于您自己的视频，您将需要尝试不同的控制类型和预处理器。

第4步：输入txt2img设置

在页面顶部的Stable Diffusion checkpoint中选择您想要使用的模型。我将使用deliberate v2。

提示词和反向提示词。我将使用以下内容：

科幻可爱女孩的照片, 粉红色的头发, 真实感, 弗朗西斯泽克·斯塔罗维斯基风格, 白瓷科幻, 机甲, 32k 超高清, 机器美学, 深白色和天蓝色, 汉斯·扎茨卡, 银色和粉色, 科幻城市, 闪亮的粉色头发，半身，油画，白色背景

photo of Sci fi cute girl, pink hair, photorealistic, in the style of franciszek starowieyski, white porcelain sci fi, mecha, 32k uhd, machine aesthetics, dark white and azure, hans zatzka, silver and pink, science fiction city,shiny pink hair, half body, oil painting, white background

变形的, 毁容的, 丑陋的

deformed, disfigured, ugly

输入以下生成参数：

采样方法Sampling method：Euler a

采样步数Sampling steps：20

宽度Width：768

高Height：512

CFG scale：7

Seed：100

需要固定种子值以减少闪烁。更改种子将更改背景和角色的外观。

单击“生成”。

第 5 步：制作动画 GIF 或 mp4 视频

该脚本使用 ControlNet 逐帧转换图像。您将在 txt2img 输出文件夹中找到一系列 png 文件。

您有两个选择：(1) 将 PNG 文件合并为动画 GIF， (2) 制作 mp4 视频。

GIF 动画

使用EZGIF 页面将 png 文件转换为动画 GIF。

在 GIF 选项中，将延迟时间设置为 5（以 1/100 秒为单位），每秒 20 帧。

这是最终的 GIF 动画。

MP4视频

使用以下命令将 png 文件转换为 MP4 视频。（您需要在本地 PC 上安装ffmpeg ）

ffmpeg -framerate 20 -pattern_type glob -i '*.png' -c:v libx264 -pix_fmt yuv420p out.mp4

ControlNet m2m 脚本的说明

不幸的是，截至撰写本文时，多个 ControlNet 无法与 m2m 脚本一起使用。正如我们稍后将看到的，多个 ControlNet 是减少闪烁的有用技术。希望未来的更新能够纠正这个问题。

这是另一个使用 ControlNet Line art realistic转换的视频。

尝试不同的 ControlNet 以获得不同的结果。这是一个带有Tile resample的视频。

方法2：ControlNet img2img

这种视频到视频的方法将视频转换为一系列图像，然后使用 Stable Diffusion img2img 和 ControlNet 来转换每个帧。

如果您想观看同一视频，请使用以下按钮下载视频。

下载输入视频

步骤1：将mp4视频转换为png文件

您可以使用ezgif 网站将 mp4 视频转换为 png 图像文件。

上传 mp4 视频文件。

使用以下设置。

• 尺寸: origin
• 帧速率：10 fps

点击转换为PNG！

单击将帧下载为 ZIP 。

将 ZIP 文件解压到 png 图像文件的文件夹中。

将文件夹名称重命名为video. 现在您应该有一个名为 的文件夹video，其中包含 png 文件。

或者，如果您喜欢使用命令行将 mp4 视频转换为 png 文件，则可以使用以下命令。

mkdir video

ffmpeg -i girl_dance.mp4 -r 10 video/%05d.png

第 2 步：输入 Img2img 设置

您需要将图像到图像和 ControlNet 设置应用于每个帧。

现在打开 AUTOMATIC1111。

我们需要对 ControlNet 进行一些特殊设置。进入设置页面。

单击左侧面板上的显示所有页面。

搜索文本（Windows 为 Ctrl+F。Mac 为 Cmd+F）“快速设置列表Quicksettings list”。将“initial_noise_multiplier”和“img2img_color_ Correction”添加到列表中。

它应该看起来像这样：

转到页面的顶部。单击“应用设置”，然后单击“重新加载 UI”。

您应该在页面顶部看到两个新设置：img2img 的噪声倍增器（Noise multiplier for img2img ）和应用颜色校正（Apply color correction）。

将img2img 的噪声倍数（Noise multipler for img2img）设置为 0.5。该缩放因子应用于 img2img 的随机潜在张量。降低它可以减少闪烁。

选中应用色彩校正（Apply color correction）设置。此选项用于匹配原始内容的颜色。这有助于跨帧的颜色一致性。

现在还有一项设置… 转至设置> ControlNet。选择以下选项。

• 不将检测图附加到输出：是

单击应用设置。重新加载 Web UI。

转到img2img页面。

在页面顶部的Stable Diffusion checkpoint中，选择您要使用的模型。我将使用deliberate v2。

提示词和反向提示词。我将使用：

科幻可爱女孩的照片, 粉红色的头发, 真实感, 弗朗西斯泽克·斯塔罗维斯基风格, 白瓷科幻, 机甲, 32k 超高清, 机器美学, 深白色和天蓝色, 汉斯·扎茨卡, 银色和粉色, 科幻城市, 闪亮的粉色头发，半身，油画

photo of Sci fi cute girl, pink hair, photorealistic, in the style of franciszek starowieyski, white porcelain sci fi, mecha, 32k uhd, machine aesthetics, dark white and azure, hans zatzka, silver and pink, science fiction city,shiny pink hair, half body, oil painting

变形的, 毁容的, 丑陋的

deformed, disfigured, ugly

将其中一帧（即 png 文件）上传到 img2img 画布。

• 调整大小模式Resize mode：仅调整大小Just resize

• 采样方式Sampling method：DPM++ 2M Karras

• 采样步数Sampling Steps：20

• 宽度：908（设置此值是为了保持视频的宽高比）

• 高度：512（较短的尺寸固定为512）

• CFG scale：20（尝试一下。设置越高，它越遵循提示词。）

• 去噪强度Denoising strength：0.4（尝试一下。设置越高，变化越多，但闪烁也越多）

• 种子Seed：-1（随机）

步骤 3：输入 ControlNet 设置

现在转到ControlNet部分…

将同一帧上传到图像画布。

启用Enable：是

像素完美Pixel Perfect：是

允许预览Allow Preview：是

控制类型Control Type: 艺术线条Lineart

预处理器Preprocessor：现实线条Lineart Realistic

模型：control_xxxx_lineart

（对控件类型、预处理器和模型进行实验。其中许多都可以正常工作。目标是查看预览中勾勒出的眼睛、嘴巴、发型等细节）

控制权重Control Weight：0.6（当您看到颜色伪影时降低它）

第四步：选择种子

按“生成”以测试设置。

对效果满意后，选择左侧面板上的图像。

要固定种子，请单击“种子值”框旁边的回收图标。您应该看到该值从 -1 变为正数。

第 5 步：使用 ControlNet 批量处理 img2img

现在，经过所有的努力，您已经生成了一帧……目标是将相同的设置应用于所有帧。幸运的是，您可以通过批处理来做到这一点。

首先，删除ControlNet部分中的参考图像。这一步很重要。否则，您将在所有帧中使用此参考图像！单击右上角的十字图标可删除图像。

确认您看到参考图像已删除，如下面的屏幕截图所示。

其余 ControlNet 设置保持不变。

现在切换到Img2img 页面上的“批处理”选项卡。

输入路径

• 输入目录：包含视频 PNG 文件的文件夹。
• 输出目录：用于存放已处理的 PNG 文件的新文件夹。

在 Windows 中，输入目录是文件资源管理器中 PNG 文件的文件夹位置。

如果您使用Google Colab，请将 PNG 文件复制到您的 Google 云端硬盘并指定路径。可以在左侧的文件资源管理器中找到该路径，然后右键单击文件夹。

单击“生成”开始生成过程。

第 6 步：将输出 PNG 文件转换为视频或动画 gif

GIF 动画

使用EZGIF 页面将 png 文件转换为动画 GIF。

在 GIF 选项中，将延迟时间设置为 10（以 1/100 秒为单位），表示每秒 10 帧。

这是视频到视频的结果（去噪强度Denoising strength 0.5）：

将去噪强度Denoising strength增加到 0.7 会更多地改变视频，但也会增加闪烁。

MP4视频

使用以下命令将 png 文件转换为 MP4 视频。

ffmpeg -framerate 10 -pattern_type glob -i '*.png' -c:v libx264 -pix_fmt yuv420p out.mp4

关于 ControlNet img2img 的注意事项

这可能是所有视频到视频方法中最费力的。您想要使用它的原因很简单：获得对流程的完全控制。

你会看到不少人提倡这种方法。我推荐Enigmatic_e的视频来了解有关此方法的更多信息（以及通常使用Stable Diffusion进行视频制作）。Corridor Crew 的这段视频将引导您完成制作高质量Stable Diffusion视频的费力方法。

方法三：Mov2mov扩展

Mov2mov扩展可自动执行视频到视频任务的许多手动步骤。

如果您想观看同一视频，请使用以下按钮下载视频。

下载输入视频

第 1 步：安装 Mov2mov 扩展

在 AUTOMATIC1111 Web-UI 中，导航到“扩展”页面。

选择从 URL 选项卡安装。

在扩展的 git 存储库字段的 URL 中，输入

https://github.com/Scholar01/sd-webui-mov2mov

单击安装。

完全关闭并重新启动 Web-UI。

第 2 步：输入 mov2mov 设置

您应该会看到一个名为mov2mov的新页面。

在页面顶部的下拉菜单中选择Stable Diffusion checkpoint。我用的是Deliberate v2。

输入提示词和反向提示词。

科幻可爱女孩的照片, 粉红色的头发, 真实感, 弗朗西斯泽克·斯塔罗维斯基风格, 白瓷科幻, 机甲, 32k 超高清, 机器美学, 深白色和天蓝色, 汉斯·扎茨卡, 银色和粉色, 科幻城市, 闪亮的粉色头发，半身，油画，白色背景

photo of Sci fi cute girl, pink hair, photorealistic, in the style of franciszek starowieyski, white porcelain sci fi, mecha, 32k uhd, machine aesthetics, dark white and azure, hans zatzka, silver and pink, science fiction city,shiny pink hair, half body, oil painting, white background

变形的, 毁容的, 丑陋的

deformed, disfigured, ugly

通过将视频拖放到视频画布来上传视频。

调整大小模式Resize mode：裁剪并调整大小Crop and resize。

对于横屏视频，将宽度设置为 768，将高度设置为 512。（根据自己的视频调整）

该扩展有一个很好的噪音乘数滑块。将其保持为 0 以减少闪烁。

调整CFG scale来控制应遵循提示词的程度。（本视频中的 7 个）

调整去噪强度denoising strength 以控制视频应改变的程度。（本视频中为 0.75）

最大帧是要生成的帧总数。设置为较低的数字，例如 10 以进行初始测试。设置为 -1 以生成完整长度的视频。

种子Seed确定第一帧的种子值。即使将种子设置为 -1（随机），所有帧也将使用相同的种子值。

步骤 3：输入 ControlNet 设置

输入 ControlNet 的以下设置。

启用Enable：是

像素完美Pixel Perfect：是

控制类型Control Type：艺术线条Lineart

预处理器Preprocessor： Lineart_realistic

模型：control_xxxx_lineart

控制权重Control weight：0.6

重要提示：请勿上传参考图像。Mov2mov 将使用当前帧作为参考图像。

第四步：生成视频

单击“生成”开始生成视频。

这需要一段时间……当它完成时，您的新视频将出现在右侧。

单击“保存”以保存视频。

如果没有显示，请转到文件夹output/mov2mov-videos查找视频。

如果出现错误，请尝试不同的视频模式。

如果视频生成失败，请根据图像系列自行制作视频。它们在文件夹中output/mov2mov-images。按照此步骤将图像转换为视频。

这是 Mov2mov 的最终视频。

mov2mov 的注意事项

由于某些原因，确定性采样器（例如 Euler、LMS、DPM++2M Karras…）不能与此扩展配合良好。其他情况，这将是减少闪烁的好方法。

方法4：SD-CN-Animation

SD-CN-Animation是一种 AUTOMATIC1111 扩展，它提供了一种使用Stable Diffusion执行视频到视频任务的便捷方法。

SD-CN-Animation使用光流模型（RAFT）使动画更加流畅。该模型跟踪像素的运动并创建用于生成下一帧的掩模。

请注意，此扩展程序不适用于所有视频。例如，前 3 种方法中使用的视频效果不佳。据推测，这是因为其黑暗的背景。

因此，我切换到另一个视频来进行本演练。

如果您想使用该视频来学习本教程，请在此处下载该视频。

第 1 步：安装扩展

在 AUTOMATIC1111 Web-UI 中，导航到 “扩展” 页面。

选择 从 URL 选项卡安装 。

在 扩展的 git 存储库 字段的 URL 中，输入

https://github.com/volotat/SD-CN-Animation

单击 安装。

完全关闭并重新启动 Web-UI。

步骤2：输入SD-CN-Animation参数

在 AUTOMATIC1111 Web-UI 中，导航到SD-CN-Animation页面。

确保“对 img2img 结果应用颜色校正以匹配原始颜色(Apply color correction to img2img results to match original colors)” 未选择。（如果您在测试之前的方法时启用了此选项）此颜色校正会影响 RAFT 模型并产生较差的结果。

将 mp4 视频文件上传到输入视频部分。

将宽度设置为 512。将高度设置为 512。（根据您的视频进行相应调整。）

将提示设置为

科幻可爱女孩的照片, 粉红色的头发, 真实感, 弗朗西斯泽克·斯塔罗维斯基风格, 白瓷科幻, 机甲, 32k 超高清, 机器美学, 深白色和天蓝色, 汉斯·扎茨卡, 银色和粉色, 科幻城市, 闪亮的粉色头发，半身，油画，白色背景

photo of Sci fi cute girl, pink hair, photorealistic, in the style of franciszek starowieyski, white porcelain sci fi, mecha, 32k uhd, machine aesthetics, dark white and azure, hans zatzka, silver and pink, science fiction city,shiny pink hair, half body, oil painting, white background

将否定提示设置为

变形的, 毁容的, 丑陋的

deformed, disfigured, ugly

将采样方法设置为 DPM++2M Karras。

步骤 3：输入 ControlNet 设置

我们将使用 2 个 ControlNet。如果您没有看到多个 ControlNet 选项卡，请转至设置> ControlNet以启用它们。

对于ControlNet 单元 0：

• Enable: Yes
• Pixel Perfect: Yes
• Control Type: Line Art
• Preprocessor: Line art realistic
• Model: control_xxxx_lineart
• Control weight: 0.6

不要上传图像。

将所有其他设置保留为默认值。

对于ControlNet 单元 1：

• Enable: Yes
• Pixel Perfect: Yes
• Control Type: Tile
• Preprocessor: Tile resample
• Model: control_xxxx_tile
• Control weight: 0.5

不要上传图像。

将所有其他设置保留为默认值。

第四步：生成视频

单击“生成”开始处理。

完成后，右键单击视频，您将找到保存它的选项。

这就是我得到的。

SD-CN-Animation 备注

确保您未选中 img2img 的“Apply Color correction 应用色彩校正…”。否则，您将不会获得最佳结果。

所有采样器都在此扩展中工作。确保选择确定性采样器以减少闪烁。（见下面关于闪烁的评论）

方法 5：Temporal Kit

Temporal Kit实现了多种视频到视频转换的方法。我只想告诉你这里最好的一个。

基本思想是在视频中挑选关键帧（例如 16 个），使用图像到图像对它们进行风格化，并使用它们作为绘制相邻帧的参考。

这种方法是由EbSynth首创的，这是一种用于绘制视频的计算机程序。它是在Stable Diffusion之前创建的，但Stable Diffusion中的img2img功能赋予了它新的生命。

但是，如果您在单个帧上进行图像到图像的处理，结果会很差。原因是生成的图像缺乏连贯性。

诀窍是通过将所有关键帧缝合到一张巨大的纸中来一次性转换所有关键帧。像这样：

我们过去都是手动完成的。但有了 Temporal Kit，您就不必这样做。

第 1 步：安装 Temporal Kit 扩展

在 AUTOMATIC1111 Web-UI 中，导航到 “扩展” 页面。

选择 从 URL 选项卡安装 。

在 扩展的 git 存储库 字段的 URL 中，输入

https://github.com/CiaraStrawberry/TemporalKit

单击 安装。

完全关闭并重新启动 Web-UI。

第2步：安装FFmpeg

访问 FFmpeg 的下载页面并下载适合您平台的 FFmpeg 程序。

它应该是一个 zip 文件。解压后，您应该会看到一个名为ffmpeg或 的文件ffmpeg.exe。这就是您需要的 FFmpeg 程序！

但要让 Temporal Kit 使用它，您需要将其放入 PATH 中，以便每个人都可以在任何地方访问它。

如果你知道 PATH 是什么意思。将其放在 PATH 中的目录之一中。

如果没有，请继续阅读……

Windows

按Windows键。键入envirnoment并单击“编辑您帐户的环境变量”项。

选择路径，然后选择编辑。

单击“新建”添加新条目，然后键入

%USERPROFILE%\bin

添加后，您应该看到上述路径的新条目。

单击“确定”保存并退出。

打开文件资源管理器。在地址栏中输入

%USERPROFILE%

然后按 Enter 键。您应该转到您的主文件夹。

创建一个名为 的新文件夹bin。

通过在地址栏中输入以下内容并按 Enter 键来测试去那里。

%USERPROFILE%\bin

您应该位于新创建的文件夹中bin。

现在放入ffmpeg.exe这个文件夹，一切就完成了。现在该文件位于您的 PATH 中。

要进行测试，请按 Windows 键并键入 来打开命令提示符cmd。按 Enter 键。

在命令提示符下输入

ffmpeg

并按 Enter 键。

您应该看到 ffmpeg 的帮助页面。

Mac 或 Linux

打开终端应用程序。

bin在您的主目录中创建一个新文件夹。

mkdir ~/bin

将ffmpeg文件放入新目录中。您可以使用查找器。

.zprofile在您的主目录中编辑。

添加以下行

export PATH=~/bin:$PATH

启动一个新终端并输入

ffmpeg

您应该会看到显示 ffmpeg 的帮助页面。这将验证 FFmpeg 在您的路径中。

步骤 3：输入预处理参数

在 AUTOMATIC1111 中，转到Temporal Kit页面。

转到预处理选项卡。

将视频上传到输入视频画布。（如果您想使用同一视频来学习本教程，请下载此视频。）

接下来是生成一张巨大的关键帧。该表将经过 img2img，以便所有关键帧都具有相同的样式。

放：

• Side: 4 (这是设置 4×4 图像网格)
• 高度分辨率Height resolution：2048（由于每张图像为512，所以512×4 = 2048）
• 每个关键帧的帧数frames per keyframe：4（每个关键帧负责多少帧）
• 帧率fps：30
• EbSyth 模式：是
• 目标文件夹：输入要保存该项目的文件夹名称路径。例如G:\temporalkit\test1

单击右侧面板上的“运行” 。您应该会看到生成的一张 4×4 关键帧。

确保这些关键帧覆盖您自己视频的整个视频。如果没有，请调整这些参数。

如果您在下一个 img2img 步骤中遇到内存不足问题，请减少侧面或分辨率参数。

如果您对结果满意，请单击“保存设置” 。

单击发送到 img2img。

第4步：在关键帧上执行Img2img

转到Img2img页面。巨大的关键帧应该已经在图像画布中了。

切换到批处理选项卡。

输入目录：附加目标目录的名称\input。例如G:\temporalkit\test1\input

输出目录：类似但\output附加了。例如。G:\temporalkit\test1\output

图像尺寸应自动校正和设置。（2048×2048）。

输入提示词。

科幻可爱女孩的照片, 粉红色的头发, 真实感, 弗朗西斯泽克·斯塔罗维斯基风格, 白瓷科幻, 机甲, 32k 超高清, 机器美学, 深白色和天蓝色, 汉斯·扎茨卡, 银色和粉色, 科幻城市, 闪亮的粉色头发，半身，油画，白色背景

photo of Sci fi cute girl, pink hair, photorealistic, in the style of franciszek starowieyski, white porcelain sci fi, mecha, 32k uhd, machine aesthetics, dark white and azure, hans zatzka, silver and pink, science fiction city,shiny pink hair, half body, oil painting, white background

还有一个反向提示词：

变形的, 毁容的, 丑陋的

deformed, disfigured, ugly

采样方式Sampling method：DPM++2M Karras

采样步数Sampling steps：20

CFG scale：7

去噪强度Denoising strength：0.5（相应调整）

在 ControlNet (Unit 0) 部分中，设置：

• 启用：是
• 像素完美：是
• 控制类型：平铺
• 预处理器：tile_resample
• 型号：control_xxxx_tile

按生成。完成后，您将在批处理输出文件夹中找到图像。

确保以全尺寸打开图像并以全尺寸检查细节。确保它们看起来很锋利并且风格一致。

第5步：准备EbSynth数据

现在我们需要生成数据并放入 EbSynth。

转到Temporal-Kit页面并切换到Ebsynth-Process选项卡。

输入文件夹：放入与预处理页面中相同的目标文件夹路径。例如G:\temporalkit\test1

单击读取last_settings。如果您的输入文件夹正确，视频和设置将被填充。

单击准备 ebsynth。完成后，您应该看到keys文件夹中填充了风格化关键帧，frames文件夹中填充了图像。

第 6 步：使用 EbSynth 进行处理

现在打开EbSynth程序。

打开文件资源管理器并导航到项目文件夹。您应该像下面所示那样进行文件夹。我们需要EbSynth 的keys文件夹和frames文件夹。

将关键帧文件夹从文件资源管理器拖放到EbSynth 中的关键帧字段中。

将框架文件夹从文件资源管理器拖放到EbSynth 中的框架字段中。

经过这两个步骤后，EbSynth 应该已经通过一堆Synth按钮填充了正确的设置。每个关键帧占一行。每个关键帧都充当参考并对一定数量的帧进行风格化。

单击全部运行并等待它们完成。

完成后，您应该会看到out_#####目标项目文件夹中生成了一系列目录。

第7步：制作最终视频

现在返回到 AUTOMATIC1111。您应该仍在Temporal Kit页面和Ebsynth-Process选项卡上。

单击重新组合 ebsynth即可完成！

看看视频有多流畅。通过一些调整，您可能可以做得更好！

变化

多个控制网络

尝试使用多个 ControlNet来进一步修复小细节并减少闪烁。

例如，您可以添加第二个 ControlNet 以仅使用参考（reference only)来修复角色的外观。我使用了之前生成的视频中的一帧。

这是通过设置艺术线条lineart和仅供参考reference-only的 ControlNet 的视频。

其他设置

尝试去噪强度（denoising strength），以在变化量和闪烁之间进行权衡。

有时，输入视频很难用 ControlNet 很好地处理。

去闪烁

多重控制网络

使用多个ControlNet来修复视频中的特征可以显着减少闪烁。

例如，这是使用 ONE Con​​trolNet，线条艺术逼真（Line art realistic）。

如果我们再添加一个 ControlNet（Tile Resample）会怎样？

它不仅闪烁更少，而且还有助于保留原始视频的颜色。

通过添加Canny ControlNet可以实现类似程度的去闪烁。

代价是处理视频需要更长的时间。但我认为这是值得的！

后期处理

使用Stable Diffusion ControlNet 制作的视频仍然存在一定程度的闪烁。您可以使用以下一些方法来实现闪烁。

Da Vinci Resolve有一个去闪烁插件，您可以轻松地将其应用于Stable Diffusion视频。不幸的是，它仅在付费版本（Studio）中可用。

如果您不准备为此付费并且精通技术，请使用此去闪烁模型来处理您的视频。

确定性采样器

使用确定性采样器来减少闪烁。

下面是使用Euler a，一个随机采样器。（用SD-CN-Animation制作。）

下面的视频使用相同的设置，除了使用DPM++2M Karas（一种确定性采样器）。

注意她的脸和头发闪烁得更少。

确定性采样器的一些示例是

• Euler
• LMS
• Heun
• DPM++2M
• DPM++2M Karas

有关概述，请参阅采样器文章。

其他视频到视频选项

EbSynth

EBSynth用于手动或使用Stable Diffusion等 AI 图像生成器在视频上进行绘制。

然后，您将图像切分成 4 个单独的图像，并将它们用作 EbSynth 中的关键帧。

执行此过程的原因是为了提高关键帧之间的一致性。如果关键帧单独使用 img2img 进行转换，它们通常会有太多变化。

EbSynth 方法最好与 Temporal Kit 一起执行。

Deforum

Deforum具有 ControlNet 的视频到视频功能。

Stable WarpFusion

Stable WarpFusion是一款付费 Colab Notebook，可通过自定义算法产生令人惊叹的视频转换。