AI作画工具Stable Diffusion调参基础指南,干货满满,建议收藏

2023-07-30 10:07:34  浏览:1080  作者:疯狂美工萱萱

不得不说随着时代科技的进步让人工智能也得到了突破性的发展。而小编前段时间玩画画也是玩的不可自拔,你能想得到吗,一个完全不会画画的有一天也能创作出绘画作品。

1、概述

Stable Diffusion作为目前比较火的AI作画工作,已经火出圈了。相比MidJourney、DALL-E其他两个著名的AI作画工具,它以开源、免费闻名,更受大众所喜欢。

2、常见参数

作为一款AI作画工具,画质的好坏,主要受几大因素影响:模型、提示词、以及生成作画所涉及到的一些参数,如采样器、采样器迭代步数、重绘幅度及

CFG Scale等。

  • Prompt(提示词):对你想要生成的东西进行文字描述,不同模型及参数下,同样的提示词生成的图像也会不相同。它支持自然

    语法、标签语法、emoji以及颜文字等丰富的语法格式。

  • Negative prompt(反向提示词):用文字描述你不希望在图像中出现的东西, 也可以用于对正向提示词的效果微调。

  • Sampling method(采样器):我们知道Stable Diffusion是一种基于扩散模型实现生成画像,它的过程是将以一张满是噪点的图

    为基准,一点一点地向目标(prompt)“扩散”靠近。这就是扩散采样器工作的地方。简单地说,这些采样器是一种算法,它在

    每一步之后将生成的图像与文本提示符要求的图像进行比较,然后对噪声添加一些更改,直到逐渐达到与文本描述相匹配的图像。

    常见的采样器及其特性见下:1. Euler a:富有创造力,是一种基于时间步长大小的可调控制参数,适当的迭代步长值能够捕捉到

    细节和纹理,但如果值太大会导致过度拟合,生成图像可能出现噪点等不良效果。适合场景:二次元图像、小场景2. DDIM: 收敛

    快,可以快速生成高质量图像,但需要配合较高的迭代步数去使用,随着步数增加可以叠加细节。适合场景:写实人像、复杂场景

    3. DPM++2S a Karras:可以生成高质量的图像,随着迭代步数增加,画像细节会逐步增加与完善,相比其它采样器,可以在

    小分辨率画像中,容纳更多的细节。适合场景:写实人像、复杂场景4. DPM++ 2M Karras:是一种二阶扩展概率模型求解的算

    法,可以在速度与质量之间进行平衡,并生成更精确的图像及其细节。适合场景:二次元图像、三次元图像5. DPM++ KDE

    Karras: 也是一种二阶扩展概率模型求解的算法,随着迭代步数的增加,整体出图细节会跟着进行变化。适合场景:写实人像、复

    杂场景

  • Sampling Steps(采样步数):扩散模型的工作方式是从随机高斯噪声向符合提示的图像迈出小步。这样的步骤应该有多少个。

    更多的步骤意味着从噪声到图像的更小、更精确的步骤。增加这一点直接增加了生成图像所需的时间。回报递减,取决于采样器。

    一般建议值在20-30,根据不同的采样器,需要进行调整

  • CFG Scale(无分类指导规模):控制图像与提示词之间的契合度,这个值越高,生成的图像也越接近你的提示词,但它也在一定

    程度上降低了图像质量,可以用更多的采样步数来抵消。过高的 CFG Scale 体现为粗犷的线条和过锐化的图像。一般建议在7-

    15。

  • Batch count/n_iter:每次生成图像的组数。一次运行生成图像的数量为 Batch count * Batch size。

  • Batch size:同时生成多少个图像。增加这个值可以提高性能,但你也需要更多的 VRAM。图像总数是这个值乘以批次数。除

    4090 等高级显卡以外通常保持为 1。

  • Width:图像的宽度,像素。要增加这个值,你需要更多的显存。大尺度的图像一致性会随着分辨率的提高而变差(模型是在

    512x512 的基础上训练的)。这个值必须是 8 的倍数。一般建议不超过基础模型的训练图集宽度,否则容易出现图崩。

  • Height:图像高度。同上,一般建议不超过基础模型的训练图集高度,否则容易出现图崩。

  • Seed:随机数的起点。保持这个值不变,可以多次生成相同(或几乎相同,如果启用了 xformers)的图像。没有什么种子天生就

    比其他的好,但如果你只是稍微改变你的输入参数,以前产生好结果的种子很可能仍然会产生好结果。

3、参数搭配效果验证

为了更好的了解各个参数及其详细的出图效果,我在自己的笔记本上花了两天 左右的时间,进行了相关的验证。(显卡:Nvidia GeForce RTX2060, 6G)

  • 第一次实验(采样器与CFG Scale): 迭代步数-30, 重绘幅度-0.7

1.png

采样器与CFG Scale

实验个人总结:
1、采样器LMS、PLMS、DPM fast可以直接丢弃,容易出乱图,脸崩。

2、Euler、Heun、DPM2、DPM++ 2M、LMS Karras、DPM2 Karras、DPM++ 2M Karras出图细节一致, LMS与前面有点类似,衣物细节稍有不

同。DDIM与上图人物姿势稍有不同,衣物细节不同,背景相似。PLMS与上图人物姿势相同,衣服细节不同,背景相同。UniPC,与PLMS人物有点相

似,布局相似

3、Euler a(不同CFG Scale下表现会有所区别)、DPM2 a(不同CFG Scale下表现会有所区别)、DPM adaptive*(不同CFG Scale下表现会有所区

别)、DPM++ 2S a、DPM++ 2S a Karras在出图布局上相似,但衣物细节稍有不同

4、DPM2 a Karras、当在CFG Scale在7-10之间时,以上一组类似;在小于7或者大于10时,风格独特

5、DPM++ SDE Karras、出图细节,完全风格独特

6、CFG Scale达到30,仅有Euler、Heun、DPM2 Karras可以稳定出图。在CFG Scale达到10时,除LMS、PLMS、DPM fast都可以稳定出图。在CFG Scale达到15时,LMS Karras、DPM2 a Karras、UniPC也无法稳定出图。达到20时,仅有Euler、Heun、DPM adaptive、DPM2 Karras、DPM++ 2S 

a Karras、DPM++ 2M Karras、DPM++ SDE Karras、DDIM可以稳定出图。

  • 第二次实验(采样器与重绘幅度): 迭代步数-30,CFG Scale-6

2.png

采样器与重绘幅度

实验个人总结:

1、在相同采样器、CFG Scale和迭代步数下,重绘幅度的大小对于图像细节没有任何改变

  • 第三次实验(采样器与迭代步数): CFG Scale-7, 重绘幅度-0.7

3.png

采样器与迭代步数

实验个人总结:
1、有些采样器会随着迭代步数的增加,导致衣物细节发生改变。如Euler a、Euler、DPM2、DPM2 a、DPM 2S a、DPM++ 2M、DPM++ SDE、LMS Karras、DPM2 Karras、DPM++ 2M Karras、DDIM、DPM fast

2、采样器不会随着迭代步数的增加,发生细节改变。如Heun、Dpm adaptive、LMS

3、采样器会随着迭代步数增加,发生动作、衣物发生变化。如DPM2 a Karras、DPM++ 2S a Karras

4、采样器会随着迭代步数增加,整体背景布局发生变化。如DPM++ KDE Karras

5、采样器会随着迭代步数增加,整体背景布局和衣物发生变化。如UniPC

6、LMS、DPM fast在超过迭代步数30后,可以稳定出图。

  • 第四次实验(CFG Scale与重绘幅度): 采样器-DPM++ KDE Karras, 迭代步数-30

4.png

CFG Scale与重绘幅度

实验个人总结:

1、在相同采样器、CFG Scale和迭代步数下,重绘幅度的大小对于图像细节没有任何改变

  • 第五次实验(CFG Scale与迭代步数): 采样器-DPM++ KDE Karras, 重绘幅度-0.7

5.png

CFG Scale与迭代步数

实验个人总结:
1、过高的CFG Scale在某些采样器下容易崩图,建议尽量不超过20

2、迭代步数的增加,可以增加更多出图细节或者导致构图的改变

  • 第六次实验(重绘幅度与迭代步数): 采样器-DPM++ KDE Karras, CFG Scale-7

6.png

重绘幅度与迭代步数

实验个人总结:

1、在相同采样器、CFG Scale和迭代步数下,重绘幅度的大小对于图像细节没有任何改变

2、迭代步数的增加,可以增加更多出图细节或者导致构图的改变

4、参数实验验证总结

通过上面6组对参数之间搭配的验证效果,我们可以对参数的作用,及其影响作出如下一些总结(仅作参考,如有不同意见,可以留言一起探讨):

  • 重绘幅度的增加,对图像整体布局、人物动作及衣物细节不存在肉眼可见影响(专业的人员可能会发现细微的光感上面的影响)

  • 大部分采样器会随着迭代步数的增加,导致从整体布局,到人物动作及衣物细节等不同程度的细节变化。

  • 采样器Heun、DPM adaptive、LMS几种采样器,出图细节比较稳定,不随着迭代步数增加而发生细节变化。

  • 有部分采样器之间,在相同参数下,从整体布局,到人物动作及衣物细节等存在相同或者相似的情况。如Euler、Heun、DPM2、DPM++ 2M、LMS Karras、DPM2 Karras、DPM++ 2M Karras(这组相同),以及Euler a、DPM2 a、DPM adaptive*、DPM++ 2S a、DPM++ 2S a Karras(这组以前面相似)

  • 采样器DPM++ SDE Karras,风格独特,出图与其他采样器在相同参数下,完全不一样

  • 采样器LMS、PLMS、DPM fast,在低迭代步数情况下,不建议采用,容易崩图

  • 大部分采样器,CFG Scale取值,建议不超过20。DPM adaptive是个例外,在高CFG Scale下能够稳定出图。

5、参考及引用

  • 采样器篇-中文版

  • 采样器篇-英文版

  • 调参基础

    以上就是今天的所有内容,关注疯狂的美工官网,每天分享不同的电商圈动态!

【随机内容】

返回顶部