Stable Diffusion 是一种先进的生成模型,特别擅长高质量图像生成。它属于扩散模型的一种,能够逐步生成逼真的图像,适用于多种生成任务,包括文生图(text-to-image)和图生图(image-to-image)。
Stable-Diffusion系列:
Stable-Diffusion一:Stable Diffusion简介与WebUI部署
Stable-Diffusion二:WebUI 插件推荐
Stable-Diffusion三:利用AI加速游戏美术内容生产
Stable-Diffusion四:转投ComfyUI的怀抱
……
插件维护
安装
我们打开扩展页面,有两种主要的安装方式,官方渠道安装 和 URL安装,至于网上其它的安装方式,只是徒增烦恼,完全没有必要,除非你没有网络,否则有这两个就够了。
官方渠道安装
URL安装
更新
停用/卸载
停用插件
打开 WebUI 界面,进入「扩展-已安装」,在列表内找到你想要停用的插件,取消它名称前面的勾选,然后点击「应用并重启用户界面」,重新进入后就看不到该插件了。
这种方式会让插件不显示在 WebUI 的界面中,但是文件依旧会保存在根目录的「Extensions」文件夹中;
如果要恢复,勾选并重启用户界面,就能再次看到这个插件 了。
卸载插件
WebUI安装的所有插件都存放在根目录的「Extensions」目录下。
要卸载插件,就在「Extensions」目录下把对应的文件夹删除,然后重新启动 SD WebUI,插件就不存在了。
插件推荐
官方渠道方式安装比较简单,下面以远程安装方式推荐几个插件。
一、Localization zh_Hans:中文汉化包
原生版的 WebUI,它是英文界面,英文不过硬的童鞋用起来很不方便,汉化包也就成为第一个需要推荐的插件啦。
插件地址: https://github.com/hanamizuki-ai/stable-diffusion-webui-localization-zh_Hans
按照上面远程安装的方式,把上面的地址填进去,分支可以不用填,点进安装后,会安装默认的分支,有分支要求的则去插件地址找到对应的分支名称填进去就可。
安装完成后,进入 “设置(Settings)- 用户界面(User interface)”版块,将“本地语言(localization)”一项改为“zh-Hans (Stable) [vladmandic]”,然后重启 WebUI 界面即可。
二、Images brower:图库浏览器
Images brower 插件让我们能轻松直观的查看、管理所有用 WebUI 生成的图像,比在根目录的 Outputs 文件夹中查看要方便很多。安装完成后,点击插件的“首页”选项,即可加载所有生成的图像。
插件地址: https://github.com/AlUlkesh/stable-diffusion-webui-images-browser
相关功能:
- 按文生图、图生图、后期处理、收藏夹等分类查看所有生成图片;可以按指定条件排序;可以按提示词搜索对应图片;可以批量删除图片;
- 点击一张图像,可以查看点击图像的生成信息(正负提示词、模型、尺寸等各项参数);再次点击可以全屏查看,通过键盘左右按键快速浏览;
- 对图像进行评级打分,按分数进行筛选;
- 将喜欢的图像添加到收藏夹,进行单独管理;
- 将图片及相关信息快速复制到文生图、图生图界面。
三、Tiled Diffusion & VAE 防止爆显存
Stable Diffusion WebUI 对电脑显存有要求,如果你的显存太低(6G 及以下),生成分辨率稍微大一点的图像就会带不动,出现错误提示,而启用 Tiled VAE 插件后,它会先生成一个个小的图块,然后拼合在一起形成高分辨率图像,这样就有效防止爆显存情况的出现,不过生成时间会更长一些。
插件网址: https://github.com/pkuliyi2015/multidiffusion-upscaler-for-automatic1111
安装成功后,直接勾选 Tiled VAE 版块内的「Enable Tiled VAE」,其他参数保持默认,然后正常生成就可以了。如果勾选后不起作用,可以将“编码器图块尺寸尺寸”和“解码器图块尺寸”的参数调低重试,直至在可以正常运行。
四 模型管理插件Civitai Helper
在SD的使用过程中,很多萌新会苦于模型太多不知道怎么管理,不知道如何更新模型,模型管理插件Civitai Helper就能帮你解决这个问题。
它可以帮助我们一键下载模型的预览图,检查本地模型是否有最新版本并下载,一键打开Civitai的模型页面等等,功能都很实用。
插件地址:https://github.com/butaixianran/Stable-Diffusion-Webui-Civitai-Helper
下载预览图
在下图的区域,勾选所有的模型种类,勾选下载预览图,再点击扫描,插件就会自动更新所有模型的预览图了。如果网速不好,可以分模型种类进行扫描,防止下载失败。
再回到模型预览页,再点击刷新按钮,就能看到模型预览图已经显示出来了。
检查模型是否更新并下载新模型
把Civitai Helper 标签页拉到最低,选择想要更新的模型种类,点击“从Civitai上 检查版本更新”。
检测完毕后,如上图可以看到,我这个模型已经出了新版本,点击“Download into SD”便可以直接下载新版本到文件夹中。
这种更新方式下载一些小的Lora模型比较快,但是大模型最好还是用专业下载软件比较好,这边下载有点慢,只用它来检查更新还是很好用的。
Civitai Helper的其它功能,一般般,并不推荐使用。
注意,安装完毕后,要完全重新启动 WebUI,包括您的终端
注意,此插件只对Civitai上面的模型有效。
注意,更新模型,老版本不会自动删除,要手动干掉它
五 sd-webui-controlnet
简介
重头戏,当然要压轴出场,ControlNet 是 Stable Diffusion中的一种扩展模型,通过这种扩展模型,我们能够将参考图像的构图(compositions )或者人体姿势迁移到目标图像。
插件网址: https://github.com/Mikubill/sd-webui-controlnet
Stable Diffusion 用户都知道,很难精准控制Stable Diffusion生成的图像,比如如何在不同场景中保持原来的构图(compositions )或者人物形象,但是有了ControlNet ,这些问题变得轻松多了。
ControlNet 是用来控制Stable Diffusion 模型的一种神经网络模型。Stable Diffusion 本身是一种根据文本或者图像用来生成图像的扩散模型,在生成图像过程中,可以通过 ControlNet 引入更多条件来干预图像生成过程,它可以(也需要) 跟现有 任何 Stable Diffusion 模型搭配使用。
ControlNet 是一个非常强大的插件,这里不做过多介绍,详细资料:
ControlNet Stable Diffusion 完全指南
安装使用
ControlNet 的使用,按以下几个步骤完成配置
- 按照URL方式,把插件网址填到URL处,点击安装
- 完成安装后,转到“已安装”选项卡,单击“检查更新”,然后单击“应用并重新启动 UI”。
-
重启完成后,即可看见controlnet相关配置,接着完全重新启动 WebUI,包括您的终端。
- 下载模型(见下文)。
- 将模型放入webui根目录下的 extensions\sd-webui-controlnet\models文件夹内。
- 刷新controlnet的模型列表,即可选择该模型
下载模型
安装完插件后,需要下载ControlNet 模型,目前ControlNet 1.1的所有14个模型都处于beta测试阶段。
从 ControlNet 1.1 下载模型:https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main
您需要下载以“.pth”结尾的模型文件。
可以看到模型有很多,但是我自己主要应用的其实主要就这几种:Canny、OpenPose、Lineart、Mlsd、Depth、Tile