Stable Diffusion作为目前比较火的AI作画工作,已经火出圈了。相比MidJourney、DALL-E其他两个著名的AI作画工具,它以开源、免费闻名,更受大众所喜欢。
作为一款AI作画工具,画质的好坏,主要受几大因素影响:模型、提示词、以及生成作画所涉及到的一些参数,如采样器、采样器迭代步数、重绘幅度及
CFG Scale等。
Prompt(提示词):对你想要生成的东西进行文字描述,不同模型及参数下,同样的提示词生成的图像也会不相同。它支持自然
语法、标签语法、emoji以及颜文字等丰富的语法格式。
Negative prompt(反向提示词):用文字描述你不希望在图像中出现的东西, 也可以用于对正向提示词的效果微调。
Sampling method(采样器):我们知道Stable Diffusion是一种基于扩散模型实现生成画像,它的过程是将以一张满是噪点的图
为基准,一点一点地向目标(prompt)“扩散”靠近。这就是扩散采样器工作的地方。简单地说,这些采样器是一种算法,它在
每一步之后将生成的图像与文本提示符要求的图像进行比较,然后对噪声添加一些更改,直到逐渐达到与文本描述相匹配的图像。
常见的采样器及其特性见下:1. Euler a:富有创造力,是一种基于时间步长大小的可调控制参数,适当的迭代步长值能够捕捉到
细节和纹理,但如果值太大会导致过度拟合,生成图像可能出现噪点等不良效果。适合场景:二次元图像、小场景2. DDIM: 收敛
快,可以快速生成高质量图像,但需要配合较高的迭代步数去使用,随着步数增加可以叠加细节。适合场景:写实人像、复杂场景
3. DPM++2S a Karras:可以生成高质量的图像,随着迭代步数增加,画像细节会逐步增加与完善,相比其它采样器,可以在
小分辨率画像中,容纳更多的细节。适合场景:写实人像、复杂场景4. DPM++ 2M Karras:是一种二阶扩展概率模型求解的算
法,可以在速度与质量之间进行平衡,并生成更精确的图像及其细节。适合场景:二次元图像、三次元图像5. DPM++ KDE
Karras: 也是一种二阶扩展概率模型求解的算法,随着迭代步数的增加,整体出图细节会跟着进行变化。适合场景:写实人像、复
杂场景
Sampling Steps(采样步数):扩散模型的工作方式是从随机高斯噪声向符合提示的图像迈出小步。这样的步骤应该有多少个。
更多的步骤意味着从噪声到图像的更小、更精确的步骤。增加这一点直接增加了生成图像所需的时间。回报递减,取决于采样器。
一般建议值在20-30,根据不同的采样器,需要进行调整
CFG Scale(无分类指导规模):控制图像与提示词之间的契合度,这个值越高,生成的图像也越接近你的提示词,但它也在一定
程度上降低了图像质量,可以用更多的采样步数来抵消。过高的 CFG Scale 体现为粗犷的线条和过锐化的图像。一般建议在7-
15。
Batch count/n_iter:每次生成图像的组数。一次运行生成图像的数量为 Batch count * Batch size。
Batch size:同时生成多少个图像。增加这个值可以提高性能,但你也需要更多的 VRAM。图像总数是这个值乘以批次数。除
4090 等高级显卡以外通常保持为 1。
Width:图像的宽度,像素。要增加这个值,你需要更多的显存。大尺度的图像一致性会随着分辨率的提高而变差(模型是在
512x512 的基础上训练的)。这个值必须是 8 的倍数。一般建议不超过基础模型的训练图集宽度,否则容易出现图崩。
Height:图像高度。同上,一般建议不超过基础模型的训练图集高度,否则容易出现图崩。
Seed:随机数的起点。保持这个值不变,可以多次生成相同(或几乎相同,如果启用了 xformers)的图像。没有什么种子天生就
比其他的好,但如果你只是稍微改变你的输入参数,以前产生好结果的种子很可能仍然会产生好结果。
为了更好的了解各个参数及其详细的出图效果,我在自己的笔记本上花了两天 左右的时间,进行了相关的验证。(显卡:Nvidia GeForce RTX2060, 6G)
第一次实验(采样器与CFG Scale): 迭代步数-30, 重绘幅度-0.7
采样器与CFG Scale
实验个人总结:
1、采样器LMS、PLMS、DPM fast可以直接丢弃,容易出乱图,脸崩。
2、Euler、Heun、DPM2、DPM++ 2M、LMS Karras、DPM2 Karras、DPM++ 2M Karras出图细节一致, LMS与前面有点类似,衣物细节稍有不
同。DDIM与上图人物姿势稍有不同,衣物细节不同,背景相似。PLMS与上图人物姿势相同,衣服细节不同,背景相同。UniPC,与PLMS人物有点相
似,布局相似
3、Euler a(不同CFG Scale下表现会有所区别)、DPM2 a(不同CFG Scale下表现会有所区别)、DPM adaptive*(不同CFG Scale下表现会有所区
别)、DPM++ 2S a、DPM++ 2S a Karras在出图布局上相似,但衣物细节稍有不同
4、DPM2 a Karras、当在CFG Scale在7-10之间时,以上一组类似;在小于7或者大于10时,风格独特
5、DPM++ SDE Karras、出图细节,完全风格独特
6、CFG Scale达到30,仅有Euler、Heun、DPM2 Karras可以稳定出图。在CFG Scale达到10时,除LMS、PLMS、DPM fast都可以稳定出图。在CFG Scale达到15时,LMS Karras、DPM2 a Karras、UniPC也无法稳定出图。达到20时,仅有Euler、Heun、DPM adaptive、DPM2 Karras、DPM++ 2S
a Karras、DPM++ 2M Karras、DPM++ SDE Karras、DDIM可以稳定出图。
第二次实验(采样器与重绘幅度): 迭代步数-30,CFG Scale-6
采样器与重绘幅度
实验个人总结:
1、在相同采样器、CFG Scale和迭代步数下,重绘幅度的大小对于图像细节没有任何改变
第三次实验(采样器与迭代步数): CFG Scale-7, 重绘幅度-0.7
采样器与迭代步数
实验个人总结:
1、有些采样器会随着迭代步数的增加,导致衣物细节发生改变。如Euler a、Euler、DPM2、DPM2 a、DPM 2S a、DPM++ 2M、DPM++ SDE、LMS Karras、DPM2 Karras、DPM++ 2M Karras、DDIM、DPM fast
2、采样器不会随着迭代步数的增加,发生细节改变。如Heun、Dpm adaptive、LMS
3、采样器会随着迭代步数增加,发生动作、衣物发生变化。如DPM2 a Karras、DPM++ 2S a Karras
4、采样器会随着迭代步数增加,整体背景布局发生变化。如DPM++ KDE Karras
5、采样器会随着迭代步数增加,整体背景布局和衣物发生变化。如UniPC
6、LMS、DPM fast在超过迭代步数30后,可以稳定出图。
第四次实验(CFG Scale与重绘幅度): 采样器-DPM++ KDE Karras, 迭代步数-30
CFG Scale与重绘幅度
实验个人总结:
1、在相同采样器、CFG Scale和迭代步数下,重绘幅度的大小对于图像细节没有任何改变
第五次实验(CFG Scale与迭代步数): 采样器-DPM++ KDE Karras, 重绘幅度-0.7
CFG Scale与迭代步数
实验个人总结:
1、过高的CFG Scale在某些采样器下容易崩图,建议尽量不超过20
2、迭代步数的增加,可以增加更多出图细节或者导致构图的改变
第六次实验(重绘幅度与迭代步数): 采样器-DPM++ KDE Karras, CFG Scale-7
重绘幅度与迭代步数
实验个人总结:
1、在相同采样器、CFG Scale和迭代步数下,重绘幅度的大小对于图像细节没有任何改变
2、迭代步数的增加,可以增加更多出图细节或者导致构图的改变
通过上面6组对参数之间搭配的验证效果,我们可以对参数的作用,及其影响作出如下一些总结(仅作参考,如有不同意见,可以留言一起探讨):
重绘幅度的增加,对图像整体布局、人物动作及衣物细节不存在肉眼可见影响(专业的人员可能会发现细微的光感上面的影响)
大部分采样器会随着迭代步数的增加,导致从整体布局,到人物动作及衣物细节等不同程度的细节变化。
采样器Heun、DPM adaptive、LMS几种采样器,出图细节比较稳定,不随着迭代步数增加而发生细节变化。
有部分采样器之间,在相同参数下,从整体布局,到人物动作及衣物细节等存在相同或者相似的情况。如Euler、Heun、DPM2、DPM++ 2M、LMS Karras、DPM2 Karras、DPM++ 2M Karras(这组相同),以及Euler a、DPM2 a、DPM adaptive*、DPM++ 2S a、DPM++ 2S a Karras(这组以前面相似)
采样器DPM++ SDE Karras,风格独特,出图与其他采样器在相同参数下,完全不一样
采样器LMS、PLMS、DPM fast,在低迭代步数情况下,不建议采用,容易崩图
大部分采样器,CFG Scale取值,建议不超过20。DPM adaptive是个例外,在高CFG Scale下能够稳定出图。
采样器篇-中文版
采样器篇-英文版
调参基础
以上就是今天的所有内容,关注疯狂的美工官网,每天分享不同的电商圈动态!
转载说明:欢迎转载本站所有文章,如需转载请注明来源于《疯狂的美工装修助手网站》。
本文链接:https://www.mgzxzs.com/ai/9777.html