SD comfy ui圖生視頻之SVD模型簡易教學(xué)

?早期的 AI 繪圖或許只是作為娛樂用途而存在,但如今,AI 繪圖的水平已經(jīng)發(fā)展到了真假難辨的程度。眾多自媒體從業(yè)者、某寶商家,就連設(shè)計公司也紛紛開始使用 AI 來取代傳統(tǒng)設(shè)計公司、美工以及常規(guī)的作圖軟件。這其中的原因,除了成本降低之外,AI 還擁有幾乎無窮無盡的創(chuàng)意生成能力,而且能夠有效避免許多潛在的圖片版權(quán)問題。更值得一提的是,即便是普通大眾,也可以運用 AI 把自己腦海中的形象或者場景創(chuàng)作出來,從而在 AI 時代成為一名創(chuàng)作者

這里我隆重向大家推薦StableDiffusion作為學(xué)習(xí)ai繪畫的載體,StableDiffusion不是一個具體的開箱即用的產(chǎn)品,它是一個開源的AI繪畫模型,采用了最先進的深度學(xué)習(xí)技術(shù),能夠?qū)⑽谋巨D(zhuǎn)化為高質(zhì)量圖像,所有代碼都在 GitHub 上開源,比其他軟件的優(yōu)勢也在這里,因為開源的原因,不僅免費不說,而且具有相當巨大的用戶使用群體和應(yīng)用社區(qū),各種模型以及功能強大的插件,可以說是應(yīng)有盡有,任何人都可以通過免費下載并在本地電腦上進行部署,體驗圖像生成創(chuàng)作的樂趣(當然,前提是你的電腦需要一個強大的GPU)?;蛘吣部梢允褂盟憔W(wǎng)云,該網(wǎng)站提供云端部署SD的解決方案,可以不用費時費力的在本地部署SD,畢竟sd的安裝對新人來說不是太友好,網(wǎng)址:https://www.aicpn.cn/本教程的使用是建立在使用算網(wǎng)云提供的sdcomfyui flux鏡像的前提下,廢話少說教學(xué)開始。

觀前提醒,本教程的使用前提是在使用算網(wǎng)云平臺所提供的Comfy ui flux純凈版的鏡像中,如果是在自己的電腦上部署,或者是在別的云端部署那么并不能保證一定會復(fù)現(xiàn)。平臺網(wǎng)址會在文末展示。

今天來教大家的是SDcomfyui的中一個比較高級的功能,具體來講是圖生視頻功能。

首先我們需要上傳一個SVD1.1的視頻模型,SVD模型模型是一個生成圖像到視頻的擴散模型,通過對靜止圖像的條件化生成短視頻。模型下載的網(wǎng)址如下:首先使用點擊jupyterLabUI,上傳路徑為:root/ComfyUI/models/checkpoints里用上傳功能將模型放置到該文件夾內(nèi)。

圖一? ?后臺文件傳輸界面

等到下載完成后點擊webui進入comfyui界面?

圖二? ?工作臺界面

一開始是英文的界面,可以通過雙擊Switch Locale或者刷新界面的方式來將頁面漢化

圖三? ?初始默認工作流界面
圖四? ? 激活漢化插件以后的默認工作流界面

默認的工作流是無法使用SVD模型的,需要新建一個工作流,按清除鍵將原先的工作流清除,留下一個空白的工作臺頁面

圖五? ?空白界面

按右鍵新建節(jié)點,采樣器,K采樣器

圖六? ?采樣器中的K采樣器路徑

然后點擊新建節(jié)點,加載器,視頻模型,Checkpoint模型,

圖七? ? 視頻模型加載器路徑

然后點擊新建節(jié)點,點擊條件,視頻模型,SVD_圖像到視頻_條件。

圖八? ? 視覺模型加載節(jié)點

還需要一個圖像加載器,點擊新建節(jié)點,點擊圖像,加載圖像。

圖九? ?圖像加載節(jié)點路徑

還需要一個VAE解碼器,點擊新建節(jié)點,Latent,VAE解碼。

圖十? ?VAE解碼節(jié)點路徑

最后要一個預(yù)覽圖像,點擊新增節(jié)點,圖像,預(yù)覽圖像。

圖十一? ?圖像預(yù)覽節(jié)點路徑

這個工作流還有一個優(yōu)化的空間就是加一個CFG的縮放空間環(huán)節(jié),點擊新增節(jié)點,模型,縮放CFG,這個節(jié)點起到的作用是讓圖像從CLIP到VAE的時候,是視頻的效果增強,優(yōu)化視頻的觀感體驗。

圖十二? ?視頻縮放節(jié)點路徑

然后按照模型的參數(shù)推薦把相關(guān)參數(shù)設(shè)定好,幀數(shù)控制在25以內(nèi),超過會有一定概率報錯,幀率選到9,CFG不能超過3,選擇2,采樣器選擇euler_ancestral,調(diào)度器選擇karras。參數(shù)就設(shè)計好了。

圖十三? ? 參數(shù)設(shè)定推薦

將其相連,具體如下:

圖十四? ? 工作流節(jié)點一覽

然后工作流就配置完成了,這邊建議不要使用無動作的人像,因為會有較大的概率會搶圖片上下左右拉伸,使用場景圖效果會好一點。具體效果如下,(他生成的是一套圖片,需要自己通過切換圖片達到視頻的效果)

圖十五? ?最后成品的效果呈現(xiàn)

今天的教程到此結(jié)束,下次再來教大家sdcomfyui的其他功能。大家下次再見。

網(wǎng)站平臺網(wǎng)址:www.aicpn.cn

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容