如何使用Stable Diffusion将照片卡通化

多亏了Stable Diffusion,把照片卡通化再容易不过了。在本教程中,我将向您展示如何使用自定义模型使用img2img对照片进行卡通化。

(查看另一种不使用自定义模型即可设置照片样式的方法。)

软件设置

我们将在本教程中使用 AUTOMATIC1111 GUI 。

为了进行演示,我们将使用以下卡通风格的模型。该技术适用于任何具有独特风格的自定义模型。(这就是他们制作定制模型的原因,对吧?)

Anything v3 – 动漫风格的模型。

Anything v3

Inkpunk Diffusion – 日本插画风格(关键词:nvinkpunk)(keyword: nvinkpunk)

Inkpunk Diffusion

Mo-Di Diffusion – 现代迪士尼风格。(关键词:现代迪士尼风格). (keywords: modern disney style)

Mo-Di-Diffusion

按照上面的模型链接下载模型。查看本文,了解如何安装和使用自定义模型。

使用快速入门指南的注意事项

这3种型号可在《快速入门指南》中的Colab笔记本中找到。

如果您正在使用《快速入门指南》中的Colab笔记本,请确保已选择这些型号。运行单元格以启动AUTOMATIC111GUI。

启用快速入门指南Colab笔记本中的卡通模型

卡通化——循序渐进

我会把我在潜伏空间遇到的朋友的照片卡通化。你可以在这里找到她的其他朋友。

一张将被卡通化的演示照片

我们将使用Inkpunk Diffusion作为我们的卡通模型。有关设置说明,请参阅“软件设置”部分。

在AUTOMATIC111GUI中,在Stable Diffusion checkpoint下拉菜单中选择Inkpunk Diffusion模型。

单击img2img切换到img2img选项卡。在img2img子选项卡中将要进行卡通化的照片上传到画布上。

输入描述照片的提示词。您还需要包括触发样式的特殊关键字(如果有的话)。对于Inkpunk Diffusion来说,它就是nvinkpunk。所以我的提示是

一个坐在外面的女人

nvinkpunk A woman sitting outside

否定提示是可选的。出于习惯(或迷信),我确实使用了一个:

毁容、丑陋

disfigured, ugly

带有自定义模型的img2img用于卡通化

宽度width高度height设置为512,并调整另一个以与照片的纵横比紧密匹配。由于我的照片是肖像,所以我将宽度设置为512,将高度设置为704。选择Crop and resize以去除不适合的零件。

采样步骤sampling steps设置为30以获得高质量的图像。

批量大小sampling steps设置为4,这样您就可以从中选择一些图像。(樱桃采摘是使用Stable Diffusion的一项重要技能)

 

您需要使用的设置是去噪强度denoising strength。仔细调整此设置以获得所需的更改量。将其设置为0时不会发生任何更改。当您将原始图像设置为1时,它将被忽略。0.4左右是一个不错的起点。

按“Generate”生成图像

当你使用不同的去噪强度值时values of denoising strength,你会看到如下所示。选择值以获得您想要实现的效果!

生成的图像具有0.2到0.8不等的不同去噪强度

多个img2img步骤

我经常使用的一个技巧是进行多轮img2img来填充更精细的细节。

还记得img2img的低值会产生小的变化吗?你可以先做一步大的去噪强度,然后再做一系列小的值。下面是一个例子。

3轮img2img,去噪强度分别为0.4、0.27和0.27

或一系列小值:

4轮img2img,每轮去噪强度为0.2。

使用多轮img2img,您可以在不改变整体构图的情况下对局部区域进行风格化。

最终产品

以下是三位定制模特的卡通形象。

当然,这些只是每个模型中的一个例子。你可以控制你想要的效果对你的口味有多强烈。

原始的
Inkpunk
Anything v3
Mo-Di

接下来的步骤

如果你想在其他一些创意作品中使用卡通人物,你可以使用其中一个AI背景移除网站来移除背景,例如remove.bg

也许你可以让你的朋友表演这些场景,并将其卡通化,从而制作一幅漫画。

如果您只想更改图像的一部分,则可以将此技术与 重绘inpainting相结合。或者图像的不同部分使用不同的模型进行样式化。

可能性是无穷的。

发表评论