你准备好将你的Stable Diffusion技能提升到下一个水平了吗？如果是这样的话，让我们来谈谈hypernetwork模型。在这篇文章中，你将了解有关hypernetwork的一切，以及如何使用它们来实现你想要的结果。我将介绍从什么是hypernetwork模型的基础到如何将其与AUTOMATIC111StableDiffusionGUI一起使用的所有内容。此外，我甚至会向你展示我在自己的工作中使用的一些我最喜欢的hypernetwork。所以，系好安全带，让我们深入超级网络模型的世界。
什么是Stable Diffusion中的hypernetwork?
Hypernetwork是一种微调技术，最初由Stable Diffusion的早期采用者Novel AI开发。它是一个连接到Stable Diffusion模型上的小型神经网络，用于修改其样式。
小型Stable Diffusion插在哪里？当然，它是Stable Diffusion模型中最关键的部分：noise predictor UNet的cross-attention模块。LoRA模型类似地修改了Stable Diffusion模型的这一部分，但方式不同。
Hypernetwork通常是一个简单的神经网络：一个具有丢弃和激活的完全连接的线性网络。就像你在神经网络入门课程中学到的一样。他们插入两个网络来转换key和query向量，从而劫持了交叉注意力（cross-attention）模块。比较下面的原始模型架构和被操纵的模型架构。
原始Stable Diffusion模型的cross-attention模块
Hypernetwork注入额外的神经网络来转换键和值。
在训练过程中，Stable Diffusion模型被锁定，但所连接的超网络可以更改。由于超级网络规模小，训练速度快，所需资源有限。训练可以在普通电脑上完成。
快速训练和小文件大小是hypernetworks的主要吸引力。
你应该意识到，它与机器学习中常见的hypernetwork不同。这是一个为另一个网络生成权重的网络。所以不，Stable Diffusion 的hypernetwork不是在2016年发明的。
与其他模型的区别
我将解释hypernetworks和其他模型类型之间的区别，以帮助您理解并决定使用哪种模型。
Checkpoint models
Checkpoint模型包含生成图像所需的所有信息。你可以通过它们的大文件大小来识别它们。它们的大小从2 GB到7 GB不等。超级网络通常低于200 MB。
Hypernetwork不能单独运行。它需要使用checkpoint模型来生成图像。
Checkpoint模型比hypernetwork更强大。它可以比hypernetwork更好地存储样式。在训练hypernetwork模型时，会对整个模型进行微调。当训练hypernetwork时，只有hypernetwork是微调的。
LoRA模型
LoRA模型与超网络最为相似。它们都很小，只是修改了cross-attention模块。不同之处在于他们如何修改它。LoRA模型通过改变其权重来修改cross-attention。Hypernetwork通过插入额外的网络来实现这一点。
用户通常会发现LoRA模型可以产生更好的结果。它们的文件大小相似，通常低于200MB，而且比checkpoint模型小得多。
LoRA是一种数据存储方法。它没有定义培训过程，可以是dreambooth，也可以是额外的培训。Hypernetwork定义了培训。
嵌入Embeddings
Embeddings是一种称为文本反转textual inversion的微调方法的结果。与hypernetwork一样，textual inversion不会改变模型。它只是定义新的关键字来实现某些风格。
Textual inversion和hypernetwork对Stable Diffusion模型的不同部分起作用。Textual inversion在文本编码器中创建新的embeddings。Hypernetwork在noise predictor的cross-attention模块中插入一个小网络。
根据我的经验，embedding比hypernetworks稍微强大一些。
在哪里可以找到hypernetworks？
最好的地方是civitai.com。用hypernetwork过滤模型类型。
如何使用hypernetworks
我将向您展示如何在AUTOMATIC111StableDiffusionGUI中使用hypernetworks。您可以在Windows、Mac或Google Colab上使用此GUI。
第一步：安装hypernetwork模型
要在AUTOMATIC111-webui中安装hypernetwork模型，请将模型文件放在以下文件夹中。
stable-diffusion-webui/models/hypernetworks第二步：使用hypernetwork模型
要使用hypernetwork，请在提示中输入以下短语。
<hypernet:filename:multiplier>filename是hypernetwork的文件名，不包括扩展名（.pt、.bin等） (.pt, .bin, etc).
multiplier 是应用于hypernetwork的权重。默认值为1。将其设置为0将禁用该模型。
如何确定文件名是否正确？你不应该写这个短语，而应该点击大“Generate”按钮下的模型按钮。
单击Hypernetworks选项卡。您应该会看到已安装的hypernetworks列表。单击要使用的。
Hypernetwork短语将插入提示词中。
请注意，hypernet短语不会被视为提示词的一部分。它只是指导使用哪些hypernetworks。它将在应用hypernetworks后被删除。因此，您不能对它们使用任何提示词语法，如[keyword1:keyword2:0.5]。
第3步：用模型测试和创作艺术
为了给自己最大的成功机会来解锁预期的风格，首先将其与训练过的模型一起使用。但不要止步于此。一些hypernetworks需要特定的提示词，或者只适用于某些主题，所以一定要查看模型页面上的提示词示例，看看什么最有效。
这里有一个专业提示词：如果你注意到你的图像看起来有点太饱和，这可能是你需要调整乘数的迹象。这是一个简单的解决方案。Stable Diffusion有时可以将颜色饱和度解释为达到目标的完美方式，但减少乘数可以帮助恢复平衡。
一旦你确认你的hypernetwork正在发挥它的魔力，为什么不在其他模型上使用它呢？你永远不知道会出现什么有趣和意想不到的效果，让我们说实话，玩起来很有趣。所以继续吧，让你的创造力尽情发挥吧。
我使用的一些hypernetworks
以下是我对hypernetwork的偏见选择。
水元素Water Elemental
Water Elemental是一个独特的hypernetwork，可以把任何东西变成水！在主题前使用短语“water elemental”。请务必描述背景。您可以将此hypernetwork与Stable Diffusion v1.5一起使用。更改hypernetwork权重（weight）以调整水的效果。
提示词：water elemental woman walking across a busy street <hypernet:waterElemental_10:0.7>
水元素女人走过繁忙的街道 <hypernet:waterElemental_10:0.7>
提示词：water elemental a boy running on water <hypernet:waterElemental_10:1>
水元素男孩在水上奔跑<hypernet:waterElemental_10:1>
InCase样式
InCase样式用于Anything v3模型。它修改了Anythingv3模型，以产生更成熟的动漫风格。
提示词：
精致的脸，一个美丽的女人，森林中的探险家，白色上衣，棕色短裤，帽子，天空背景，现实主义，平胸
detailed face, a beautiful woman, explorer in forest, white top, short brown pants, hat, sky background, realism, small breast <hypernet:incaseStyle_incaseAnythingV3:1>
反向提示词：
月亮，丑陋，瓷砖，画得不好的手，画得很差的脚，画得太差的脸，画框外，多余的四肢，毁容，变形，身体画框以外，解剖结构不好，水印，签名，剪切，低对比度，曝光不足，曝光过度，糟糕的艺术，初学者，业余爱好者，扭曲的脸，模糊，草稿，颗粒状，大乳房
moon, ugly, tiling, poorly drawn hands, poorly drawn feet, poorly drawn face, out of frame, extra limbs, disfigured, deformed, body out of frame, bad anatomy, watermark, signature, cut off, low contrast, underexposed, overexposed, bad art, beginner, amateur, distorted face, blurry, draft, grainy, large breast
哥特式RPG艺术风格Gothic RPG Artstyle
Gothic RPG Artstyle格产生了一种时尚的单时插图风格。与Protogen模型一起使用。
Gothic RPG Artstyle Hypernetwork 模型页面
提示词:drawing male leather jacket cyberpunk 2077 on a city street by WoD1 <hypernet:gothicRPGArtstyle_v1:1>
WoD1在城市街道上绘制男性皮夹克《赛博朋克2077》 <hypernet:gothicRPGArtstyle_v1:1>
阅读
如果你有时间的话，这里有一些有趣的读物。
Hypernetwork风格训练，小指南–详细的训练指南。
Illustrated self-attention –解释mathematics of self-attention mechanism的数学，类似于cross-attention。
NovelAI对 Stable Diffusion的改进 – 请参阅“Hypernetworks”一节了解他们的贡献。其他改进也很有趣。
Adding Conditional Control to Text-to-Image Diffusion Models – 这是ControlNet的论文，但在第2.1节（相关工作）中包含了对hypernetworks的描述。