Stable Diffusion VAE介绍和使用

VAE 是Stable Diffusion 1.4 或 1.5 模型的补充，可以使眼睛渲染得更好。我将解释什么是 VAE、您可以期待什么、在哪里可以获得它以及如何安装和使用它。

内容目录

什么是VAE？

VAE 代表变分自动编码器(variational autoencoder)。它是神经网络模型的一部分，可在较小的潜在空间之间对图像进行编码和解码，从而使计算速度更快。

我需要 VAE 吗？

您不需要安装 VAE 文件来运行 Stable Diffusion – 您使用的任何模型，无论是 v1、v2 还是自定义模型，都已经有默认的 VAE。

当人们说下载和使用 VAE 时，他们指的是使用它的改进版本。当模型训练器使用附加数据进一步微调模型的 VAE 部分时，就会发生这种情况。他们没有发布一个大文件的全新模型，而是只发布已更新的一小部分。

使用VAE有什么效果？

通常，它很小。改进的 VAE 可以更好地从潜在空间解码图像。精细细节得到更好的恢复。它有助于渲染细节很重要的眼部或文本内容。

Stability AI 发布了两种经过微调的 VAE 解码器变体：EMA （Exponential Moving Average）和 MSE（Mean Square Error）。（指数移动平均值和均方误差是衡量自动编码器性能的指标。）

请参阅下面它们的比较。

Stability AI EMA、MSE 和原始解码器之间的比较。（256×256 图像）

您应该使用哪一个？Stability的评估是EMA 产生更清晰的图像，而 MSE 产生的图像更平滑。（这符合我自己的测试。）

在我自己使用512×512 图像对 Stable Diffusion v1.4和v1.5进行的测试中，我发现某些图像中的眼睛渲染效果有了很大的改进，尤其是当面部较小时。

下面是使用稳定扩散v1.5模型的原始、EMA 和 MSE 之间的比较。（提示词可以在这里找到。）放大并比较差异。

使用 SD v1.5 比较原始、EMA 和 MSE 之间的 VAE。

对文本内容生成的改进并不那么明显（在提示词中添加了“举着一个显示Stable Diffusion的标志”）：

原始、EMA 和 MSE 之间的 VAE 比较。文本渲染的改进尚不清楚。

您还可以将这些 VAE 与自定义模型一起使用。我用一些动漫模型进行了测试，但没有看到任何改进。我鼓励您自己进行测试。

最后一点，EMA 和 MSE 与 Stable Diffusion v2.0 兼容。您可以使用它们，但效果很小。2.0在渲染眼睛方面已经非常擅长了。也许他们已经将改进纳入到模型中。

我应该使用 VAE 吗？

如果您对所获得的结果感到满意，则无需使用 VAE。例如，您已经在使用CodeFormer 等面部修复来修复眼睛。

如果您愿意采取所有可以获得的小改进，那么您应该使用 VAE。您只需要经历一次设置的麻烦。之后，艺术创作工作流程保持不变。

如何使用VAE？

VAE 可以在快速入门指南中包含的 Colab Notebook 中使用。

下载

目前， Stability发布了两个VAE的改进版本。以下是直接下载链接。

EMA VAE 下载链接

MSE VAE 的下载链接

安装

此安装说明适用于 AUTOMATIC1111 GUI。将下载的VAE文件放入目录中

stable-diffusion-webui/models/VAE

适用于 Linux 和 Mac 操作系统

为了方便起见，请在 Linux 或 Mac OS 中的 stable-diffusion-webui 目录下运行以下命令，下载并安装 VAE 文件。

wget https://huggingface.co/stabilityai/sd-vae-ft-ema-original/resolve/main/vae-ft-ema-560000-ema-pruned.ckpt -O models/VAE/vae-ft-ema-560000-ema-pruned.ckpt

wget https://huggingface.co/stabilityai/sd-vae-ft-mse-original/resolve/main/vae-ft-mse-840000-ema-pruned.ckpt -O models/VAE/vae-ft-mse-840000-ema-pruned.ckpt

使用

要在 AUTOMATIC1111 GUI 中使用 VAE，请转到“设置”选项卡，然后单击左侧的“Stabe Diffusion”部分。

并找到一个名为SD VAE的部分。在下拉菜单中，选择您要使用的 VAE 文件。

按顶部的红色大按钮 应用设置（Apply Settings ）。您应该在“设置”选项卡中看到下面提示

设置：sd_vae 应用
Settings: sd_vae applied

下拉菜单中的其他选项有：

无None：使用模型附带的原始 VAE。
自动Auto：请参阅此帖子了解行为。我不建议初学者使用 Auto，因为很容易混淆使用的是哪个 VAE。

专业提示：如果找不到设置，请单击左侧的“显示所有页面（Show All Pages）” 。所有设置将显示在一个页面上。使用 Ctrl-F 查找设置。

总结

我们已经介绍了如何使用 Stability AI 发布的两种改进的 VAE 解码器。它们对渲染眼睛提供了微小但显着的改进。您可以决定是否要使用它。

我使用它是因为我没有看到任何损害我的图像的情况。我希望这篇文章有帮助！