图像风格化是将图像的样式转换为新样式的过程。例如,您可能想要根据所拍摄的照片创建一个铅笔绘图。
从手工制作(hand-crafted algorithms )的算法到最先进的基于神经网络(neural-network based methods)的方法,在风格转移方面已经有了一长串的研究。
在这篇文章中,我将使用Stable Diffusion来探索图像风格化,这是一个使用数百万对图像-文本训练的文本到图像模型。
虽然现有的方法已经产生了令人印象深刻的结果,但使用文本到图像模型的好处是所有样式都已经嵌入到模型中。无需培训。您只需要通过文本提示词指定所需的样式。最后,如果您对嵌入模型的结果不满意,您可以进一步微调并创建自己的模型。
GUI
我将向您展示如何使用AUTOMATIC111GUI进行此操作。请参阅我的快速入门指南,了解如何在谷歌的云服务器中进行设置
设置图像样式的工作流程
基本思路
其基本思想是使用img2img以文本提示 (text prompt)中指定的新样式修改图像。
原始图像被用于对初始潜在状态进行编码,而不是使用随机潜在状态。通过添加少量的随机性(由denoising strength控制),该模型根据文本提示构建新的图像。
因此,如果在文本提示中包含铅笔画,合成图像将包含铅笔画的视觉元素,但图像的内容仍然遵循原始图像。
分步工作流程
好了,这些理论的东西够了!以下是实际操作方法。
我将使用以下使用维多利亚女孩提示词生成的起始图像:
要设置样式的原始图像
在AUTOMATIC111GUI中,转到img2img选项卡并选择img2img子选项卡。将图像上载到img2img画布。
接下来你需要给出提示词。提示词应该描述原始图像的新样式和内容。它不需要太详细。以下是我将使用的内容。
a _______ of a beautiful woman(一个美丽女人的_______)
在空白处插入艺术样式(Insert the art style to the blank)。(例如一个漂亮女人的炭笔素描)
对于风格化图像,您将调整两个参数:CFG scale 和denoising strength.
RECAP
CFG scale控制模型应遵循提示的程度。它越高,跟随的次数就越多。Denoising strength控制图像应该改变多少。变化越小。
如果你想系统化,你可以使用X/Y绘图脚本来探索CFG scale和Denoising strength之间的相互作用。图像由种子值 seed value指定。
X/Y plot script settingsX/Y打印脚本设置
使用提示词:
A pencil sketch of a beautiful woman
下面是你将得到的。
X/Y Plot of CFG scale vs denoising strength
当去噪强度( denoising strength )高时,图像变化过大,失去了原始内容。当它处于低位时,变化不大。
CFG scale越高, 样式就越强。
具有50个步骤的Euler采样方法适用于大多数情况。
根据经验,将CFG scale设置为20-30之间的高值,并在0.2和0.6之间更改去噪强度denoising strength,以在保留内容的同时实现良好的风格化。
样式化图像示例
本节中的所有样式化图像都是从下面的原始图像中生成的,没有任何示例。仅提供文本提示词
原始的
以下是一些风格化的图片。提示词为
A ______ of a beautiful woman
空白处填入标题。
木炭
印象派
Pop 艺术
装饰艺术
照片
新艺术运动
立体主义
约翰·萨尔基特(John Sargent)
格雷格·鲁特科夫斯基(Greg Rutkowski)
3D角色
石雕
梵高
连环漫画
现代时尚
也可以将模型切换到不同的种族。
日本人
非洲人
西班牙的
替代方法
爱冒险的读者可以尝试所谓的 alternative img2img test 测试,它可以比上面的方法更好地保存原始图像的内容。
其思想是使用原始图像来创建潜在噪声模式,从而使其包含原始内容的信息。
要使用替代噪声,请在脚本下拉菜单中选择img2img alternative test。
新用户应该浏览功能演示中的示例。与演示相反,我发现增加CFG scale很有用,这样就可以遵循提示词。有时需要增加style关键字的权重。
下面是用替代img2img生成的流行艺术风格的示例。
使用替代img2img的pop艺术风格。
它是否更好将是一个品味问题,但它绝对遵循原始内容。
把它当作工具箱里的工具。
总结
我已经向您展示了使用“Stable Diffusion”对图像进行样式化是多么容易。你所需要做的就是使用img2img方法,提供提示词,调高 CFG scale, 并调整denoising strength。
我希望这能激励你创作一些新的艺术品!