Stable Diffusion入门使用技巧及个人实例分享--大模型及lora篇(1)

大家好,我是小鱼姐姐,近期使用Stable Diffusion比较多,积累整理了一些内容,得空分享给大家。如果你近期正好在关注AI绘画领域,可以看看哦。

本文不包含SD如何安装及使用的内容,比较适合已经解决了安装问题,在寻找合适的大模型及lora,或者想找一些绘画案例给自己的创作带来一些灵感的人。文章总共2000多字,且涉及大量图片,谨慎观看哈。下面正式开始。


Stable Diffusion简介

Stable Diffusion 是由CompVisStability AILAION共同开发的一个文本转图像模型,它通过LAION-5B子集大量的 512x512 图文模型进行训练,我们只要简单的输入一段文本,Stable Diffusion 就可以迅速将其转换为图像,同样我们也可以置入图片或视频,配合文本对其进行处理。

通俗的解释:

StableDiffusion是一种基于扩散过程的图像生成模型,可以生成高质量、高分辨率的图像。它通过模拟扩散过程,将噪声图像逐渐转化为目标图像。这种模型具有较强的稳定性和可控性,可以生成具有多样化效果和良好视觉效果的图像。

基础大模型

模型网址推荐:

C站:有预览图、提示词,非常适合新手,可以通过查找自己喜欢的图片来选择合适的模型。

https://civitai.com/

最全的模型库:(适合有代码基础的同学使用)

https://huggingface.co/models

下面推荐几个我在C站挖掘的目前最常用的几个模型:

1、好看人物插画风:

说明:

https://civitai.com/models/1540/unstableinkdream?modelVersionId=40626


优点:画人物特别好看

建议搭配参数: 采样器:DPM++ 2M Karras 步数20

绘画示例:

1、人物角色设计:

提示词示例:((masterpiece)),((nsanely detailed)), ((intricate)),((high quality)) a little girl character, pop-art illustration style, simple,cute, 5 years old girl, full color,  blue dress, blue shoes, long brown hair, blue hat, no outline,  3d


基于这个人物尝试制作一个4格漫画:


2、生成类似的背景+不同的人物:

提示词示例:((masterpiece)),((nsanely detailed)),  ((HD Quality)),((exquisite face))

background: The background is a construction site, with skyscrapers under construction,  feeling in 1990s shenzhen.

character:There is only one 20-year-old smile asian female agent,must appear item:balloon


关于这个模型的一个小技巧:

这个模型其他都好,就是你们看我上面生成的图片人物都很精致很好看,但是就是颜色一直是灰蒙蒙的效果。多方查阅之后,找到一个方法,需要下载一个VAE,然后在设置里面勾选上即可:

参考教程链接:https://www.bilibili.com/video/BV1Sb411X7c4/?vd_source=fdd967bddb96fd5ecdc8f9f53badb86b

VAE下载地址:https://huggingface.co/stabilityai/sd-vae-ft-mse-original/tree/main

如何使用:


下面是对比效果:

((masterpiece)),((best quality))The style of a natural painter includes storybook illustrations, detailed plant illustrations, andlively tableaus. The kawaii girl sitting on a half cut watermelon.

设置VAE前:


设置VAE后:


2、二次元

说明:

https://civitai.com/models/9409/or-anything-v5



绘画示例:

1、角色设计:

((masterpiece)),((nsanely detailed)), ((intricate)),((high quality)) a little girl character, pop-art illustration style, simple,cute, 5 years old stading girl, full color,  red dress,  red shoes, long brown hair,  red hat, no outline,  3d


2、生成故事插画:

((masterpiece)),((nsanely detailed)), ((intricate)),Best quality,anime,Draw a little girl  [Zhang Ziyi | Lin Chiling] walking in the park, wearing a beautiful red dress, she showed a surprised expression,suddenly only a cute white kitten in the grass.


((masterpiece)),((nsanely detailed)), ((intricate)),((high quality))  5 years old standing girl,  simple,cute, full color, brown hair, yellow dress, black shoes.She stands in a magical garden surrounded by  colored flowers . Her big eyes were full of curiosity and surprise.


3、超真实风格

说明:

https://civitai.com/models/4823/deliberate


使用较多,默认真实风格,且搭配很多lora效果都不错

建议搭配参数:DPM++ SDE Karras+step20

绘画示例:

1、生成类似的背景+不同的人物:

绘画提示词:((masterpiece)),((nsanely detailed)), ((HD Quality)),((exquisite face))

background: The background is a construction site, ((skyscrapers under construction)),  feeling in 1990s shenzhen china.

character:There is only one asian female agent,clear face,20-year-old,smile,must appear item:(an ice cream cone)


同样的提示词,加上lora之后,表情质感确实更好一点点


4、动画:

https://civitai.com/models/7371?modelVersionId=46846


优点:搭配泡泡玛特lora效果非常棒

建议搭配参数:采样器:Euler a+step 28

绘画示例:

提示词:(masterpiece),(best quality),(ultra-detailed), (full body:1.2), wide angle,1girl,cute, smile, open mouth, flower, outdoors, running on the grass, blurry, brown hair, blush stickers, long sleeves, bangs, black hair, pink flower, (beautiful detailed face), (beautiful detailed eyes),music, beret, blush,  short hair, surrounded by balloons, blue sky and white clouds,<lora:blindbox_v1_mix:1>



5、悬疑风/风景/插画

说明:

https://civitai.com/models/11193/illuminati-diffusion-v11

这个模型一开始是想用来做悬疑小说的封面的,后来发现画简笔画、插画居然也都还行!

建议搭配参数:采样器DPM++ 2M Karras +step 20

绘画示例:

1、玄幻风、悬疑风的小说封面、插图:

提示词:gray sky,white clouds,fantasstyle,fantasy,mountains,castle,canyons,fantasy,magic,4k.


提示词:

Grand and spectacular scene, big background, small characters, a misty back, fantasy world of cultivating immortals, swords, flowing clothes,4k


2、简笔头像:

(races of monotony Line drawing),(flat illustration),minimalism,headshot, line art.A cute cartoon girl with short hair,stick figure,headshot,bold line illustration,((in the style of Black line drawn drawing)),((traces of monotony line drawing)), clean blue background





3、插画

((masterpiece)),((nsanely detailed)), ((HD Quality)),((best quality))kawaii girl sitting on a watermelon, in the style of nature painter, ai yazawa, xiaofei yue, storybook illustrations, detailed botanical illustrations, lively tableaus


There is a watermelon on the poster, giving people a refreshing and cool feeling. Watermelon can be cut into pieces to showcase its juicy red interior, surrounded by white water droplets. The background can be light blue to enhance a cool and refreshing atmosphere


6、国风

说明:

https://civitai.com/models/10415?modelVersionId=36644


建议搭配参数:采样器Euler a+step30

示例:

1、使用官方的这个提示词直出效果如下:

best quality, masterpiece, highres, 1girl,blush,(seductive smile:0.8),star-shaped pupils,china hanfu,hair ornament,necklace, jewelry,Beautiful face,upon_body, tyndall effect,photorealistic, dark studio, rim lighting, two tone lighting,(high detailed skin:1.2), 8k uhd, dslr, soft lighting, high quality, volumetric lighting, candid, Photograph, high resolution, 4k, 8k, Bokeh


2、用lora里面的那个示例的人物的效果:

((masterpiece)),((nsanely detailed)), ((HD Quality)),((best quality))A young lovely girl, upper body shot, clear face,dressed in a beautiful traditional Hanfu. Her hair is neatly coiled into a bun, adorned with bobby pins and an elaborate tiara.



LORA

LoRA模型全称是:Low-Rank Adaptation of Large Language Models,通俗的可以理解为Stable-Diffusion中的一个插件,仅需要少量的数据就可以进行训练的一种模型。在生成图片时,LoRA模型会与大模型结合使用,从而实现对输出图片结果的调整。

lora模型简介:

1、适合插画/二次元adventures:

https://civitai.com/models/14792?modelVersionId=17424


试用总结:配合deliberate不错

2、表情lora

crazy-expressions:二次元

https://civitai.com/models/5891/crazy-expressions


试用总结:配合deliberate不错,出现正脸概率较大

3、墨心:

https://civitai.com/models/12597?modelVersionId=14856


试用总结:配合deliberate不错

4、小人书·连环画 xiaorenshu

https://civitai.com/models/18323?modelVersionId=25661


试用总结:配合deliberate不错

5、二次元漫画风

[LoCon/LoRA] Airconditioner/空调 Style

https://civitai.com/models/22607?modelVersionId=27334


6、城市景色:

https://civitai.com/models/14914?modelVersionId=17569


7、线条:

https://civitai.com/models/19932?modelVersionId=23670


8、科幻:

https://civitai.com/models/30480?modelVersionId=39888


试用总结:人物也可以加这个lora,配合deliberate不错

9、室内设计:

https://civitai.com/models/28112?modelVersionId=50722


10、亚洲男生:(适合用sd1.5基础大模型)

https://civitai.com/models/13220?modelVersionId=15581


11、角色设计多角度:

适合设计角色charTurnbeta:

https://civitai.com/models/7252/charturnerbeta-lora-experimental


示例:

为了对比效果,我先用基础大模型deliberate生成一个人物角色,然后搭配不同的lora看效果。

((masterpiece)),((nsanely detailed)), ((HD Quality)),((best quality))

A young lovely girl, full body shot, clear face,dressed in a beautiful traditional Hanfu. Her hair is neatly coiled into a bun, adorned with bobby pins and an elaborate tiara.


搭配不同的lora效果图参考如下:


欢迎看到最后,如果觉得还不错,欢迎点赞收藏哈。后续有空会继续发controlnet的使用技巧、提示词的使用技巧等系列文章,适合初学者观看哈!

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,723评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,485评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 152,998评论 0 344
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,323评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,355评论 5 374
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,079评论 1 285
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,389评论 3 400
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,019评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,519评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,971评论 2 325
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,100评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,738评论 4 324
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,293评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,289评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,517评论 1 262
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,547评论 2 354
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,834评论 2 345

推荐阅读更多精彩内容