本文運(yùn)行環(huán)境為colab + stable-diffusion-webui
1.選擇一個(gè)ipynb文件去運(yùn)行
我這里使用的是dreamshaper版本.
https://colab.research.google.com/github/camenduru/stable-diffusion-webui-colab/blob/main/stable/dreamshaper_3_32_webui_colab.ipynb#scrollTo=SaAJk33ppFw1
這個(gè)是自帶的ControlNet功能的.
如果沒有,可以通過在Extensions中,輸入github鏈接去下載擴(kuò)展,然后再下載對應(yīng)的模型.
URL:
https://github.com/Mikubill/sd-webui-controlnet
我使用的這個(gè)版本是自帶擴(kuò)展和模型的.
2.簡單測試
可以隨便找個(gè)C站上的圖片來進(jìn)行測試.
例如這張
進(jìn)入txt2img,找到ControlNet所在位置,上傳圖.
然后勾選Enable,并選擇所需的Model和Preprocessor.
點(diǎn)擊Preview annotator result后,就會發(fā)現(xiàn),剛剛上傳圖片的位置旁邊,生成了一張新的圖片.
然后在prompt中,隨便輸入 一些單詞,例如mountain,就可以生成這個(gè)輪廓的圖片了.
以上就是ControlNet簡單使用.
注意:這個(gè)很耗GPU,我跑一次就被google斷掉了,說我用盡了資源.
3.使用漫畫風(fēng)lora + ControlNet + img2img,生成漫畫風(fēng)圖片
3.1 下載并配置lora.
進(jìn)入Civitai擴(kuò)展,搜索Anime Lineart,下載這個(gè):https://civitai.com/models/16014/anime-lineart-manga-like-style
會被下載到這個(gè)位置.
extensions/sd-webui-additional-networks/models/lora/Anime_Lineart_/_Manga-like_線稿/線畫/マンガ風(fēng)/漫畫風(fēng)_Style/animeLineartMangaLike_v30MangaLike.safetensors successfully downloaded.
進(jìn)入Additional Networks,點(diǎn)擊Refresh models,然后就可以選擇對應(yīng)的Lora模型了.
然后選擇并啟用lora.
Trigger Words可以加到prompt中,也可以不加.
3.2 準(zhǔn)備底稿
使用畫圖工具,保存一張白色圖像,或在網(wǎng)上搜索,作為畫布.
進(jìn)入 img2img,上傳白色底圖.
3.3 上傳需要使用的圖到ControlNet中,并配置ControlNet
3.4 輸入 prompt:girl,并生成.最后生成的結(jié)果如下所示.
這里插一句,生成的結(jié)果質(zhì)量,很大程度取決于,你在ControlNet中使用的原圖質(zhì)量.
參考鏈接:
ControlNet正在補(bǔ)完AIGC工業(yè)化的最后一塊拼圖
【B站首發(fā)】AI繪畫新插件效果逆天，見證第四次工業(yè)革命！
【AI繪畫】AI隨心畫的時(shí)代來了嗎？SD插件ControlNet使用教程
https://github.com/lllyasviel/ControlNet
https://github.com/Mikubill/sd-webui-controlnet
【AI繪畫】最火爆的美女AI制作圖模型！ 圖像轉(zhuǎn)換為描線圖，含提示詞，搭配Stable-diffusion技術(shù)Lora _ ControlNet Canny
