Stable Diffuion简单介绍
Stable diffusion是一个基于Latent Diffusion Models(潜在扩散模型,LDMs)的文图生成(text-to-image)模型。具体来说,Stable Diffusion采用 UNetModel 这种 Encoder-Decoder 结构来实现扩散的过程 。在Stable Diffusion中,通过将人类语言转换成机器能理解的数学向量,再结合语义向量,从纯噪声开始逐步去除噪声,生成图片信息隐变量,最后将图片信息隐变量转换为一张真正的图片.
在Stable Diffusion中,使用了UNetModel结构来实现扩散过程,这种结构包括三个模块:
Text Encoder (蓝色模块):将人类语言转换成机器能理解的数学向量;
Image Information Creator (粉色模块):结合语义向量,从纯噪声开始逐步去除噪声,生成图片信息隐变量;
Image Decoder:将图片信息隐变量转换为一张真正的图片。
Stable Diffusion是一个文图生成模型,其核心原理是“去噪” 。Diffusion模型能够生成高质量图片,其核心原因在于现在有着极其强大的计算机视觉模型。只要数据集够大,强大的模型就能学习到任何复杂的操作。在Stable Diffusion中,具体让UNet学习了怎样一个操作,就是从纯噪声开始逐步去除噪声,生成图片信息隐变量。
Stable Diffuion本地安装部署
公众号关注“老徐的IT技术生活”,回复“SD部署”获取相关部署软件
第一步:准备VPN
鉴于敏感信息,vpn的详细教程就不写了,自己去找或私信,下面教程需全程打开vpn,不然有些网站进不去
第二步:安装Python
进入官网https://www.python.org/downloads/release/python-3106/下载Python,注意!一定要下载3.10.6版本,如果之前安装了其他版本,不用管之前的,也直接新安装3.10.6版本,多版本Python能并行存在。
下载完成后,点击安装即可。具体安装过程不在这里赘述。
安装完成之后,Win+R cmd进入控制台,输入python显示如下,表示安装成功。
第三步:安装Pycharm
pycharm windows版本下载地址,https://www.jetbrains.com/pycharm/download/?section=windows#section=windows 老徐安装的是官方的最新版。下载成功后双击Exe直接安装即可,这里不再赘述。其中注意,安装到最后会出现登录激活界面,如下:
接下来,老徐着重说一下如何破解。老徐提供的网盘软件中,已包含《JetBrains 最新全家桶激活.zip》文件,解压后建议使用方式3进行激活。
点击【方式 3】文件夹 , 进入到文件夹 /jetbra,目录如下:
开始破解:
Windows 系统将上面图示的补丁的所属文件夹 /jetbra 复制电脑某个位置。
注意:补丁所属文件夹需单独存放,且放置的路径不要有中文与空格,以免 Pycharm 读取补丁错误。
点击进入 /jetbra 补丁目录,再点击进入 /scripts 文件夹,双击执行 install-current-user.vbs 破解脚本:
注意:如果执行脚本被安全软件提示有风险拦截,允许执行即可。
等待一会,系统会弹窗如下窗口提示。点击OK即可,表示已经激活成功了。重新打开你的Pycharm软件,就可以正常使用了。
软件打开后可在顶部工具类中找到,“help->about查看激活情况”,如下图
第四步:从GitHub中下载代码到本地
https://github.com/AUTOMATIC1111/stable-diffusion-webui.git
第五步:将项目导入Pycharm
选择菜单栏"File->Open",选择下载后的文件目录进行导入。
导入成功后,项目会自动自动构建编译生成,大概需要十几分钟,注意,建议使用"绿色"上网的方式,项目编译会下载很多依赖。
第六步:下载AI模型并安装
官方提供的模型sd-v1-4.ckpt 模型下载:下载后放入项目文档下models/Stable-diffusion中官方下载https://huggingface.co/CompVis/stable-diffusion-v-1-4-original/resolve/main/sd-v1-4.ckpt
chilloutmix_NiPrunedFp32Fix.safetensors模型下载:下载后放入项目文档下models/Stable-diffusion中civitai下载 https://civitai.com/models/6424/chilloutmix
Korean Doll Likeness 建议下载主要是韩国风美女模型:下载后放入项目文档下models/Lora中civitai下载 https://civitai.com/models/7448/korean-doll-likeness
GFPGANv1.4.pth 建议下载:可以用于脸部优化下载后放入项目文档下根路径,与启动文件webui.bat等在同一路径Github下载 https://github.com/TencentARC/GFPGAN/releases/download/v1.3.0/GFPGANv1.4.pth
为了方便各位下载,老徐已将内容整理,公众号关注“老徐的IT技术生活”,回复“SD部署”获取相关部署软件
更多丰富模型个人推荐可访问Civitai,官方地址:https://civitai.com 。Civitai是目前最知名的 Stable Diffusion AI 艺术模型的社区平台,用户把它称为 C 站,它里面有非常多用户上传的模型。
第七步:运行项目
打开pycharm,打开项目,找到文件launch.py,设置采用CPU方式运行参数:
按照下图步骤,新增参数
COMMANDLINE_ARGS:--skip-torch-cuda-test --no-half
找到文件launch.py,右键,单击run,第一次运行会安装很多包,耐心等待即可
访问控制台输出的 http://127.0.0.1:7860 就可以使用了。访问页面如下:
至此,使用CPU运行完成了,想使用GPU方式运行的请查看下一章节《Stable Diffuion使用 GPU出图》。