Stable Diffusion工作流程(步骤示例)

一个令人惊叹的Stable Diffusion艺术作品不是通过简单的提示词创建的。工作流程是一个多步骤的过程。在这篇文章中,我将逐步介绍工作流程。

此工作流中的步骤包括:

  1. 生成基本提示词。
  2. 选择一个模型。
  3. 细化提示词并生成构图良好的图像。
  4. 修补缺陷。
  5. 放大图像。
  6. 使用照片编辑软件进行最终调整。

此工作流中使用的软件

我将在这个工作流程中使用AUTOMATIC111GUI,因为我想利用一些高级提示词技术并测试多个模型《快速入门指南》中的Colab笔记本运行此GUI,并包括本教程中使用的所有型号。如果您想在本地安装此GUI,请查看Windows的安装指南。

在后期处理阶段,我将使用GIMP,一个免费的开源照片编辑器GIMP,进行小的最终调整。

1.建立基本提示词

第一个任务是搜索一个与您想要的大致匹配的提示。这包括两个方面:(1)Subject(2)Style

你应该尽可能详细地描述这个主题subject。接下来,包括多个影响风格和美学的关键词。

比方说,我想创作一幅女性的数字插图。使用提示生成器(您也可以在本文中找到关键字列表),我得到以下初始提示词

一幅[blake live:Ana de Armas:0.8]的数码画,全身,现代白色上衣,红色连衣裙,由Artgerm,Guangjian,artstation设计,柔和的眼睛,极其细致的脸,惊人的美丽,高度细致,焦点清晰,光芒四射

放一个标准的否定提示词“just in case”…

ugly, disfigured, deformed, cropped

丑陋、毁容、变形、裁剪

我使用了关键字混合来控制我的模型的外观。

这只是一个提示词草稿。我们将在工作流程中对其进行更改。让我们继续下一步。

2. .选择模型

测试基本提示也是选择模型的好时机。(阅读本文以获取有关安装和使用型号的说明。)

对于数字肖像,我会测试这三种模型:

  1. Stable Diffusion 1.5: 基本模型
  2. F222: 专门针对女性(注意:这是NSFW型号)
  3. OpenJourney: MidJourney v4 风格

以下是每个型号的样品。我们将根据款式挑选一款。不要担心得到完美的形象。缺陷可以稍后修复。

我将使用肖像大小512×832像素来增加生成全身肖像的机会。其余的参数都很标准:Euler a采样器的25个采样步骤CFG scale为 7.。

Stable Diffusion v1.5

Stable Diffusion v1.5 生成数字和照片风格的混合。其中一些很好,但许多解剖结构不好,很难修复。

Stable Diffusion v1.5中的示例图像

F222

使用F222生成人像风格的图像是一个安全的选择。由于对大量女性图像进行了微调,身体部位通常会正确生成。它通过这个提示词生成了一个相当标准的数字艺术风格。

F222的示例图像

开启旅程(OpenJourney)

OpenJourney 使用付费AI图像生成服务MidJourney v4生成的图像进行训练。这些图像具有独特的感觉和外观。

OpenJourney中的示例图像

我喜欢F222和OpenJourney的风格。但让我们选择OpenJourney来继续工作流程。

3.精炼提示,得到好的构图

优化提示(Refine prompt)

现在您已经选择了一个模型,让我们通过添加或删除关键字来完善提示词,直到您获得可以用于下一阶段的图像为止。

在测试新提示词时,我会一次生成至少4个图像。有些提示词始终不起作用,您不希望因为一个坏图像而取消提示词。

我会添加一些关键词来生成更有趣的背景和灯光效果。

选择一个好的构图

这个阶段的目标是挑选一个完美的图像,而是挑选一个构图好的图像。任何小的缺陷都可以稍后使用修复来修复。

不要选择有很多缺陷的。你会花大量的时间来修复。

眯起你的眼睛

如何挑选好的构图?它与其他艺术品没有什么不同。一个常见的技巧是当你看图像时眯起眼睛。你会看到一个模糊的版本,去除了任何分散注意力的细节。如果颜色和形状仍然让你满意,那就是一幅好作品。

唤起情感

你见过一件让你目不转睛的艺术品吗?通常情况下,这不是因为技术的执行,而是因为艺术传达了一个打动你情感的信息。

好的艺术品传递信息,唤起情感。挑选一张能引起你共鸣的图片。

选择一个图像进行处理

我保持批量batch size大小为4,种子seed为-1(随机)。我不断修改提示,生成一批4张图像,同时关注构图。

现在,我看到了这张照片,它完全引起了我的共鸣…。让我们在本教程的其余部分使用

构图良好的图像

这是最后的提示词:

街头城市景观背景下的一幅[blake live:Ana de Armas:0.8]的数字画,快乐,全身,现代白色上衣,红色连衣裙,(库存:1.2),由Artgerm,Guangjian,artstation创作,柔和的眼睛,极其细致的脸,惊人的美丽,高度细致,清晰的焦点,辐射的光线,电影般的灯光,五颜六色的体积光

A digital painting of [blake lively:Ana de Armas:0.8] in street cityscape background, happy, full-body, contemporary white top, red dress, (stocking:1.2), by Artgerm, Guangjian, artstation, soft eyes, extremely detailed face, stunningly beautiful, highly detailed, sharp focus, radiant light rays, cinematic lighting, colorful, volumetric light

否定提示词仍然相同:

丑陋、毁容、变形、裁剪

ugly, disfigured, deformed, cropped

4. 修补缺陷

修饰主题

该图像的上半部分形状良好,但下半部分不太连贯。让我们用重绘inpainting来修复它。

如果您刚刚使用AUTOMATIC111在txt2img选项卡中生成了此图像,请使用“Send to inpaint(发送到修复)”按钮将图像和参数发送到“Inpaint ”选项卡。

如果您已将图像保存在本地存储中,请转到PNG info选项卡,将图像拖放到图像画布中。生成参数将填充在文本框中。按“Send to inpaint”。

导航到img2img选项卡。选择“修复”子选项卡。使用画笔工具为要重新生成的区域绘制遮罩。

为要重新生成的区域创建遮罩

mask content为原始, denoising strength(去噪强度)为0.66的修补。我想要一件红色连衣裙,所以我删除了关键字“white”,并在提示词中将红色连衣裙的重点增加到1.3:

A digital painting of [blade lively:Ana de Armas:0.8 ] in street cityscape background, happy, full-body, contemporary top, (red dress: 1.3), (stocking:1.2), by Artgerm, Guangjian, artstation, soft eyes, extremely detailed face, stunningly beautiful, highly detailed, sharp focus, radiant light rays, cinematic lighting, colorful, volumetric light

当修补衣服或其他身体部位时,通常不需要进行全分辨率的修补。所以我不检查这个选项。

以下是我选择的修复结果:
让我们把皮带和裙子再修一点。提示词可以保持不变。去噪强度denoising strength可以根据您想要的变化程度进行调整。对于这种修复,它保持不变,为0.66。

现在我们得到:


我发现在大多数情况下,保持掩码内容mask conten不变,但上下调整去噪强度denoising strength是有效的。

润色背景

最后,对背景进行润色,去除任何分散注意力的细节。同样,一个很好的方法是眯起眼睛看图像的模糊版本。删除背景中突出的任何内容。

使用 inpainting来修饰背景

现在背景已经固定好了,图像的形状非常好!

修复后的图像

5.放大图像

工作流程的这一部分是使图像变大,因为它很小:只有512×832像素。我们将用人工智能放大器AI scale将其放大4倍。

在AUTOMATIC111中,在修复结果下,单击“Send to extras”。

转到“Extras”选项卡。您可以尝试不同的放大和设置。请确保将生成的图像保存到本地计算机,并放大以检查细节,尤其是面部。

经过一些实验,以下是我确定的设置:

  • Resize: 4
  • Upscaler: R-ESRGAN 4x+
  • CodeFormer visibility: ~0.5
  • CodeFormer weight: ~0.5
  • Upscale before restoring faces: Yes

一般的规则是应用最少的面部修复,你可以远离。这可以通过降低CodeFomer visibility 和/或增加 CodeFormer weight来实现。在恢复人脸之前放大s可以减少放大器引入的伪影。

这是放大后的图像:

使用R-ESRGAN放大图像并进行面部修复

6. 最终调整

最后一步是使用GIMP或您选择的任何照片编辑软件对亮度和对比度进行一些小的调整。你可以做更多的事情来修饰图像。我只会提到最基本的东西:水平levels、曲线curves 和裁剪crop。

调整级别

在GIMP中,单击“Colors ”→ 顶部菜单中的级别。调整左右向上箭头,使其覆盖直方图的尾部。这是为了确保图像使用的是整个范围的强度值。

然后将中间向上的箭头调整到适合您审美的亮度水平。

调整GIMP中的级别

调整曲线

在GIMP中,单击“Colors”→ 顶部菜单中的Curves。分别调整曲线的上部和下部,以独立控制应用于亮部和阴影的对比度。

调整GIMP中的曲线

裁剪(Crop)

与真实照片一样,人工智能图像可能需要裁剪以改善构图。这与应用于训练数据的简单自动裁剪有关。

要在GIMP中裁剪图像,请单击“Tools”→ Transform toolCrop.

由于这张图片已经很好看了,我不打算裁剪它。

调整大小Resize (可选)

您可以根据不同用途调整图像的大小。要调整大小,请单击“Image”→ Scale Image。输入新的宽度和高度。

调整GIMP中的图像大小

最终结果

所以我们得到了最终结果:

最终图像

请在此处查看来自同一工作流的更多图像




概括一下,此Stable Diffusion 工作流中的步骤如下

  1. 生成基本提示词。
  2. 选择一个模型。
  3. 细化提示词并生成构图良好的图像。
  4. 修补缺陷。
  5. 放大图像。
  6. 使用照片编辑软件进行最终调整。

 

发表评论