本文运行环境为colab + stable-diffusion-webui
1.选择一个ipynb文件去运行
我这里使用的是dreamshaper版本.
https://colab.research.google.com/github/camenduru/stable-diffusion-webui-colab/blob/main/stable/dreamshaper_3_32_webui_colab.ipynb#scrollTo=SaAJk33ppFw1
这个是自带的ControlNet功能的.
如果没有,可以通过在Extensions中,输入github链接去下载扩展,然后再下载对应的模型.
URL:
https://github.com/Mikubill/sd-webui-controlnet
image.png
我使用的这个版本是自带扩展和模型的.
2.简单测试
可以随便找个C站上的图片来进行测试.
例如这张
https://civitai.com/gallery/274308
进入txt2img,找到ControlNet所在位置,上传图.
image.png
然后勾选Enable,并选择所需的Model和Preprocessor.
image.png
点击Preview annotator result后,就会发现,刚刚上传图片的位置旁边,生成了一张新的图片.
image.png
image.png
然后在prompt中,随便输入 一些单词,例如mountain,就可以生成这个轮廓的图片了.
image.png
image.png
00000-911935939.png
以上就是ControlNet简单使用.
注意:这个很耗GPU,我跑一次就被google断掉了,说我用尽了资源.
image.png
3.使用漫画风lora + ControlNet + img2img,生成漫画风图片
3.1 下载并配置lora.
进入Civitai扩展,搜索Anime Lineart,下载这个:https://civitai.com/models/16014/anime-lineart-manga-like-style
image.png
会被下载到这个位置.
extensions/sd-webui-additional-networks/models/lora/Anime_Lineart_/_Manga-like_线稿/線画/マンガ風/漫画风_Style/animeLineartMangaLike_v30MangaLike.safetensors successfully downloaded.
进入Additional Networks,点击Refresh models,然后就可以选择对应的Lora模型了.
image.png
image.png
然后选择并启用lora.
image.png
Trigger Words可以加到prompt中,也可以不加.
image.png
3.2 准备底稿
使用画图工具,保存一张白色图像,或在网上搜索,作为画布.
进入 img2img,上传白色底图.
image.png
3.3 上传需要使用的图到ControlNet中,并配置ControlNet
https://civitai.com/gallery/265142
image.png
3.4 输入 prompt:girl,并生成.最后生成的结果如下所示.
image.png
00000-4231038176.png
这里插一句,生成的结果质量,很大程度取决于,你在ControlNet中使用的原图质量.
参考链接:
ControlNet正在补完AIGC工业化的最后一块拼图
【B站首发】AI绘画新插件效果逆天，见证第四次工业革命！
【AI绘画】AI随心画的时代来了吗？SD插件ControlNet使用教程
https://github.com/lllyasviel/ControlNet
https://github.com/Mikubill/sd-webui-controlnet
【AI绘画】最火爆的美女AI制作图模型！ 图像转换为描线图，含提示词，搭配Stable-diffusion技术Lora _ ControlNet Canny
网友评论