Stable Diffusion 是一种先进的生成模型,特别擅长高质量图像生成。它属于扩散模型的一种,能够逐步生成逼真的图像,适用于多种生成任务,包括文生图(text-to-image)和图生图(image-to-image)。
Stable-Diffusion系列:
Stable-Diffusion一:Stable Diffusion简介与WebUI部署
Stable-Diffusion二:WebUI 插件推荐
Stable-Diffusion三:利用AI加速游戏美术内容生产
Stable-Diffusion四:转投ComfyUI的怀抱
……
一 生成式 AI 和 Stable-diffusion
生成式 AI
生成式 AI(Generative AI) 可以生成自然语言、图像、视频和音乐等数字化内容。目前热点应用总体上可以分为图片内容生成类任务以及基于大语言模型的文本生成任务。
本文将主要聚焦于图片内容生成任务,该领域已有大量客户在进行业务场景的探索和实践。
- 在游戏客户通过生成式 AI,让游戏研发端的游戏策划通过文生图进行初步概念探索,美术原画师通过定制化的风格模型,加速生成新的角色和场景原画。
- 泛娱乐客户使用生成式 AI 可以提升 IP 内容生产效率,从而扩大 IP 内容运营范畴与促进 IP 内容消费增长。
- 电商客户通过生成式 AI 可以加速电商营销物料的生产以及提升面向最终消费者的商品设计质量。
- 制造客户通过生成式 AI 提升诸如产品概念图设计、营销物料等的创意水平及生产效率。
Stable Diffusion
客户在以上诸多行业创新场景的探索中,普遍采用开源项目 Stable Diffusion 来实现图片等创意数字内容的生产。
Stable Diffusion 是一种基于深度学习的文本到图像模型,由创业公司 Stability AI 开发。它主要用于生成以文本描述为条件的详细图像,但它也可以应用于其他任务,例如基于已有图像生成新的图像,或者对现有图像进行微调。
Stable-Diffusion-Webui
Stable-Diffusion-Webui 是一个开源项目,提供了基于 Web 界面来使用 Stable Diffusion 模型的图片生成工具,其功能丰富,提供美术人员用可视化、低代码的方式控制参数、选用各类插件和风格模型进行美术图像生成,例如原始的文生图/图生图、局部修复、外部扩展、颜色轮廓图、提示词矩阵、图片上采样、注意力机制、环路(多轮图生图绘制)、X/Y/Z 图表、图片缩放、CKPT 模型合并/转化、脚本化定制等,也支持多种模型(Dreambooth,ControlNet,Lora)微调的方法来进一步提升出图的效果来满足业务需求。
本文就是介绍,如何个人电脑中部署Stable-Diffusion-Webui,让它加速你的创作。
二 部署准备
在准备搭建前,准备好以下软硬件:
- 梯子,国内好多东西都看不了,你懂的
- NVIDIA 显卡,显存至少 4GB(有钱上RTX4090,没钱下RTX 3060)以及最新显卡驱动。
cuDNN
zlibwapi
-
stable-diffusion-webui
发布包 -
Python
(版本 >= 3.8 推荐 Python 3.10) git
下载 cuDNN
cuDNN需要从 NVIDIA下载:
如果,你的显卡比较新的话,就选12.x吧,我的比较老破小,稳妥点下了 11.x。
下载完成后,得到文件 cudnn-windows-x86_64-8.9.7.29_cuda11-archive.zip
。
下载 zlibwapi
根据 NVIDIA 的教程,zlibwapi.dll 从这里下载:
http://www.winimage.com/zLibDll/zlib123dllx64.zip
下载后得到一个压缩包,备用。
取得 stable-diffusion-webui
源码
stable-diffusion-webui github是一个开源项目,已经发布了好多版本
我用的是1.6.0,为了确保按本文能顺利部署,推荐下载该版本
其它
需要独立说明的软硬件已经准备完毕,Python、Git、 梯子,显卡都比较常见,自己准备好,这里不做过多介绍。
三 安装
配置启动环境和脚本
1. 解压cuDNN
将之前下载的 cuDNN 的压缩包解压并进入,会看到到 bin
文件夹。
2.解压zlibwapi
把之前下载好的 zlibwapi
包解压,找到zlibwapi.dll
文件, 并放到上一步的bin
文件夹中。
3. 解压 stable-diffusion-webui
解压 stable-diffusion-webui
并进入文件夹,你会看到它里面有很多的文件和文件夹。
然后,把整个cuDNN 文件夹,移到 解压的stable-diffusion-webui
的文件夹里。
4. 配置stable-diffusion-webui 的PATH
stable-diffusion-webui 安装与运行所需,要把cuDNN 的 bin
目录配置到 PATH
里,这里并不是修改 Windows 的全局 PATH
,只需要在 webui-user.bat
这个启动脚本里设置 PATH
即可。
在stable-diffusion-webui
文件夹下,找到 webui-user.bat
文件,并对其进行编辑(或者拖拽到一个新打开的记事本窗口里),添加以下内容:
set PATH=%~dp0\cudnn-windows-x86_64-8.9.7.29_cuda11-archive\bin;%PATH%
注意,
set PATH
那一行的 cudnn 路径需要按照你解压后的 cuDNN 文件夹名来。
5. 配置代理
由于使用了梯子,故需要配置代理,方式也是在webui-user.bat
添加以下内容
SET no_proxy=localhost, 127.0.0.1, ::1
SET HTTP_PROXY=http://127.0.0.1:9981
SET HTTPS_PROXY=http://127.0.0.1:9981
注意, 9981为梯子代理监听的端口,你需要根据实际情况进行修改,其它不需要调整。
6. 完整配置
综上,完成了配置,这里给出调整完成后的webui-user.bat
文件内容
@echo off
set PYTHON=
set GIT=
set VENV_DIR=
set COMMANDLINE_ARGS=
set PATH=%~dp0\cudnn-windows-x86_64-8.9.7.29_cuda11-archive\bin;%PATH%
SET no_proxy=localhost, 127.0.0.1, ::1
SET HTTP_PROXY=http://127.0.0.1:9981
SET HTTPS_PROXY=http://127.0.0.1:9981
call webui.bat
双击运行 webui-user.bat
,它开始配置 Python 虚拟环境,安装、下载 torch
等软件,过程中肯定会出现各种问题,一般都是网络原因造成的,失败后,重复多试几次,肯定能部署完成的。
四 进行 AI 绘图
本文主要是介绍部署的,利用已部署好的环境,进行AI绘图,请参考另一文章《利用AI加速游戏美术内容生产》