一个令人惊叹的Stable Diffusion艺术作品不是通过简单的提示词创建的。工作流程是一个多步骤的过程。在这篇文章中,我将逐步介绍工作流程。
此工作流中的步骤包括:
- 生成基本提示词。
- 选择一个模型。
- 细化提示词并生成构图良好的图像。
- 修补缺陷。
- 放大图像。
- 使用照片编辑软件进行最终调整。
此工作流中使用的软件
我将在这个工作流程中使用AUTOMATIC111GUI,因为我想利用一些高级提示词技术并测试多个模型。《快速入门指南》中的Colab笔记本运行此GUI,并包括本教程中使用的所有型号。如果您想在本地安装此GUI,请查看Windows的安装指南。
在后期处理阶段,我将使用GIMP,一个免费的开源照片编辑器GIMP,进行小的最终调整。
1.建立基本提示词
第一个任务是搜索一个与您想要的大致匹配的提示。这包括两个方面:(1)Subject(2)Style
你应该尽可能详细地描述这个主题subject。接下来,包括多个影响风格和美学的关键词。
比方说,我想创作一幅女性的数字插图。使用提示生成器(您也可以在本文中找到关键字列表),我得到以下初始提示词
一幅[blake live:Ana de Armas:0.8]的数码画,全身,现代白色上衣,红色连衣裙,由Artgerm,Guangjian,artstation设计,柔和的眼睛,极其细致的脸,惊人的美丽,高度细致,焦点清晰,光芒四射
放一个标准的否定提示词“just in case”…
ugly, disfigured, deformed, cropped
丑陋、毁容、变形、裁剪
我使用了关键字混合来控制我的模型的外观。
这只是一个提示词草稿。我们将在工作流程中对其进行更改。让我们继续下一步。
2. .选择模型
测试基本提示也是选择模型的好时机。(阅读本文以获取有关安装和使用型号的说明。)
对于数字肖像,我会测试这三种模型:
- Stable Diffusion 1.5: 基本模型
- F222: 专门针对女性(注意:这是NSFW型号)
- OpenJourney: MidJourney v4 风格
以下是每个型号的样品。我们将根据款式挑选一款。不要担心得到完美的形象。缺陷可以稍后修复。
我将使用肖像大小512×832像素来增加生成全身肖像的机会。其余的参数都很标准:Euler a采样器的25个采样步骤,CFG scale为 7.。
Stable Diffusion v1.5
Stable Diffusion v1.5 生成数字和照片风格的混合。其中一些很好,但许多解剖结构不好,很难修复。
Stable Diffusion v1.5中的示例图像
F222
使用F222生成人像风格的图像是一个安全的选择。由于对大量女性图像进行了微调,身体部位通常会正确生成。它通过这个提示词生成了一个相当标准的数字艺术风格。
F222的示例图像
开启旅程(OpenJourney)
OpenJourney 使用付费AI图像生成服务MidJourney v4生成的图像进行训练。这些图像具有独特的感觉和外观。
OpenJourney中的示例图像
我喜欢F222和OpenJourney的风格。但让我们选择OpenJourney来继续工作流程。
3.精炼提示,得到好的构图
优化提示(Refine prompt)
现在您已经选择了一个模型,让我们通过添加或删除关键字来完善提示词,直到您获得可以用于下一阶段的图像为止。
在测试新提示词时,我会一次生成至少4个图像。有些提示词始终不起作用,您不希望因为一个坏图像而取消提示词。
我会添加一些关键词来生成更有趣的背景和灯光效果。
选择一个好的构图
这个阶段的目标不是挑选一个完美的图像,而是挑选一个构图好的图像。任何小的缺陷都可以稍后使用修复来修复。
但不要选择有很多缺陷的。你会花大量的时间来修复。
眯起你的眼睛
如何挑选好的构图?它与其他艺术品没有什么不同。一个常见的技巧是当你看图像时眯起眼睛。你会看到一个模糊的版本,去除了任何分散注意力的细节。如果颜色和形状仍然让你满意,那就是一幅好作品。
唤起情感
你见过一件让你目不转睛的艺术品吗?通常情况下,这不是因为技术的执行,而是因为艺术传达了一个打动你情感的信息。
好的艺术品传递信息,唤起情感。挑选一张能引起你共鸣的图片。
选择一个图像进行处理
我保持批量batch size大小为4,种子seed为-1(随机)。我不断修改提示,生成一批4张图像,同时关注构图。
现在,我看到了这张照片,它完全引起了我的共鸣…。让我们在本教程的其余部分使用
这是最后的提示词:
街头城市景观背景下的一幅[blake live:Ana de Armas:0.8]的数字画,快乐,全身,现代白色上衣,红色连衣裙,(库存:1.2),由Artgerm,Guangjian,artstation创作,柔和的眼睛,极其细致的脸,惊人的美丽,高度细致,清晰的焦点,辐射的光线,电影般的灯光,五颜六色的体积光
A digital painting of [blake lively:Ana de Armas:0.8] in street cityscape background, happy, full-body, contemporary white top, red dress, (stocking:1.2), by Artgerm, Guangjian, artstation, soft eyes, extremely detailed face, stunningly beautiful, highly detailed, sharp focus, radiant light rays, cinematic lighting, colorful, volumetric light
否定提示词仍然相同:
丑陋、毁容、变形、裁剪
ugly, disfigured, deformed, cropped
4. 修补缺陷
修饰主题
该图像的上半部分形状良好,但下半部分不太连贯。让我们用重绘inpainting来修复它。
如果您刚刚使用AUTOMATIC111在txt2img选项卡中生成了此图像,请使用“Send to inpaint(发送到修复)”按钮将图像和参数发送到“Inpaint ”选项卡。
如果您已将图像保存在本地存储中,请转到PNG info选项卡,将图像拖放到图像画布中。生成参数将填充在文本框中。按“Send to inpaint”。
导航到img2img选项卡。选择“修复”子选项卡。使用画笔工具为要重新生成的区域绘制遮罩。
以mask content为原始, denoising strength(去噪强度)为0.66的修补。我想要一件红色连衣裙,所以我删除了关键字“white”,并在提示词中将红色连衣裙的重点增加到1.3:
A digital painting of [blade lively:Ana de Armas:0.8 ] in street cityscape background, happy, full-body, contemporary top, (red dress: 1.3), (stocking:1.2), by Artgerm, Guangjian, artstation, soft eyes, extremely detailed face, stunningly beautiful, highly detailed, sharp focus, radiant light rays, cinematic lighting, colorful, volumetric light
当修补衣服或其他身体部位时,通常不需要进行全分辨率的修补。所以我不检查这个选项。
以下是我选择的修复结果:
让我们把皮带和裙子再修一点。提示词可以保持不变。去噪强度denoising strength可以根据您想要的变化程度进行调整。对于这种修复,它保持不变,为0.66。
现在我们得到:
我发现在大多数情况下,保持掩码内容mask conten不变,但上下调整去噪强度denoising strength是有效的。
润色背景
最后,对背景进行润色,去除任何分散注意力的细节。同样,一个很好的方法是眯起眼睛看图像的模糊版本。删除背景中突出的任何内容。
现在背景已经固定好了,图像的形状非常好!
5.放大图像
工作流程的这一部分是使图像变大,因为它很小:只有512×832像素。我们将用人工智能放大器AI scale将其放大4倍。
在AUTOMATIC111中,在修复结果下,单击“Send to extras”。
转到“Extras”选项卡。您可以尝试不同的放大和设置。请确保将生成的图像保存到本地计算机,并放大以检查细节,尤其是面部。
经过一些实验,以下是我确定的设置:
- Resize: 4
- Upscaler: R-ESRGAN 4x+
- CodeFormer visibility: ~0.5
- CodeFormer weight: ~0.5
- Upscale before restoring faces: Yes
一般的规则是应用最少的面部修复,你可以远离。这可以通过降低CodeFomer visibility 和/或增加 CodeFormer weight来实现。在恢复人脸之前放大s可以减少放大器引入的伪影。
这是放大后的图像:
6. 最终调整
最后一步是使用GIMP或您选择的任何照片编辑软件对亮度和对比度进行一些小的调整。你可以做更多的事情来修饰图像。我只会提到最基本的东西:水平levels、曲线curves 和裁剪crop。
调整级别
在GIMP中,单击“Colors ”→ 顶部菜单中的级别。调整左右向上箭头,使其覆盖直方图的尾部。这是为了确保图像使用的是整个范围的强度值。
然后将中间向上的箭头调整到适合您审美的亮度水平。
调整曲线
在GIMP中,单击“Colors”→ 顶部菜单中的Curves。分别调整曲线的上部和下部,以独立控制应用于亮部和阴影的对比度。
裁剪(Crop)
与真实照片一样,人工智能图像可能需要裁剪以改善构图。这与应用于训练数据的简单自动裁剪有关。
要在GIMP中裁剪图像,请单击“Tools”→ Transform tool→ Crop.
由于这张图片已经很好看了,我不打算裁剪它。
调整大小Resize (可选)
您可以根据不同用途调整图像的大小。要调整大小,请单击“Image”→ Scale Image。输入新的宽度和高度。
最终结果
所以我们得到了最终结果:
请在此处查看来自同一工作流的更多图像
概括一下,此Stable Diffusion 工作流中的步骤如下
- 生成基本提示词。
- 选择一个模型。
- 细化提示词并生成构图良好的图像。
- 修补缺陷。
- 放大图像。
- 使用照片编辑软件进行最终调整。