? ??

深度(Depth)

ControlNet的Depth模式是一種功能,它可以幫助用戶(hù)生成深度圖,即圖像中各個(gè)場(chǎng)景區(qū)域的距離圖。
在Depth模式中,用戶(hù)可以通過(guò)多種預(yù)處理器進(jìn)行深度圖的生成,例如”depth_midas”和”depth_leres”等。這些預(yù)處理器可以將原圖進(jìn)行區(qū)域劃分,根據(jù)灰階色值的不同,區(qū)分出圖像中元素區(qū)域的遠(yuǎn)近關(guān)系。
使用Depth模式的具體操作如下:
選擇需要處理的圖像,并將其上傳到ControlNet中。
在Depth選項(xiàng)卡中選擇合適的預(yù)處理器,例如”depth_midas”或”depth_leres”。
點(diǎn)擊”啟動(dòng)”、”P(pán)ixel Perfect”和”Allow Preview”按鈕,此時(shí)ControlNet會(huì)自動(dòng)對(duì)圖像進(jìn)行處理,并生成深度圖。
從預(yù)覽圖中可以看到處理后的深度圖效果,此時(shí)可以輸入關(guān)鍵詞并生成新的圖像。
在生成的深度圖中,不同的灰階色值表示不同的距離。例如,灰階數(shù)值0的區(qū)域表示圖像中最遠(yuǎn)的區(qū)域,而灰階數(shù)值255的區(qū)域表示圖像中最近的區(qū)域。因此,通過(guò)觀(guān)察深度圖,用戶(hù)可以更好地理解圖像中各個(gè)元素之間的距離關(guān)系。
如下圖所示:即為我們的小狗的深度圖

ControlNet提供了以下幾個(gè)預(yù)處理器模型,我們來(lái)簡(jiǎn)單看一下每個(gè)模型的區(qū)別吧:

· MiDaS 深度信息估算
點(diǎn)擊生成,我們會(huì)得到以下深度信息圖:

ControlNet的Depth模式能夠生成深度圖,幫助用戶(hù)更好地理解圖像中各個(gè)元素之間的距離關(guān)系。MiDaS深度信息估算是一種常用的預(yù)處理器,它能夠通過(guò)控制空間距離來(lái)更好地表達(dá)較大縱深的風(fēng)景的遠(yuǎn)近關(guān)系。此外,Depth模式還可以生成遮罩蒙版,幫助用戶(hù)更好地控制圖像中不同元素的顯示效果。
· LeReS 深度信息估算
點(diǎn)擊生成,我們會(huì)得到以下深度信息圖:

LeReS方法的成像焦點(diǎn)位于中間景深層,這使得它能夠更好地捕捉中距離物品的邊緣細(xì)節(jié),并且在處理圖像時(shí)能夠擁有更遠(yuǎn)的景深。因此,當(dāng)需要突出中景細(xì)節(jié)或者對(duì)整體深度感有更高要求時(shí),可以選擇使用LeReS方法。
然而,LeReS方法在處理近景圖像時(shí)可能會(huì)產(chǎn)生一些模糊,特別是近景物品的邊緣部分。因此,如果近景細(xì)節(jié)是關(guān)鍵或者畫(huà)面中有大量的近景內(nèi)容時(shí),可能需要考慮使用MiDaS方法。
·Zoe深度信息計(jì)算
點(diǎn)擊生成,我們會(huì)得到以下深度信息圖:

在ControlNet中,Zoe深度信息計(jì)算可以幫助用戶(hù)更好地理解和處理圖像中的深度信息。
具體來(lái)說(shuō),Zoe深度信息計(jì)算是一種相對(duì)深度估計(jì)和絕對(duì)深度估計(jì)相結(jié)合的方法,它可以估計(jì)圖像中每個(gè)像素的深度信息。
通過(guò)這種方式,Zoe深度信息計(jì)算能夠?qū)⒁延袛?shù)據(jù)集的深度信息轉(zhuǎn)移到新的目標(biāo)數(shù)據(jù)集上,從而實(shí)現(xiàn)零樣本(Zero-shot)深度估計(jì)。
在ControlNet中,Zoe深度信息計(jì)算可以作為一個(gè)預(yù)處理器或者一個(gè)模塊來(lái)使用,它可以幫助用戶(hù)更好地理解圖像中的深度信息,從而更好地控制和處理圖像生成、分割、增強(qiáng)等任務(wù)。
例如,在圖像生成任務(wù)中,通過(guò)結(jié)合Zoe深度信息計(jì)算,用戶(hù)可以更好地控制生成圖像的深度信息,從而生成更加真實(shí)、準(zhǔn)確的圖像。
此外,Zoe深度信息計(jì)算還可以用于圖像分割和增強(qiáng)等任務(wù)中,幫助用戶(hù)更好地處理圖像中的深度信息,提高處理效果和速度。
·【MiDaS 深度信息估算】、【LeReS 深度信息估算】和【Zoe深度信息計(jì)算】的區(qū)別
MiDaS、LeReS和Zoe深度信息計(jì)算都是深度估計(jì)的方法,它們之間的區(qū)別如下:
MiDaS是一種基于神經(jīng)網(wǎng)絡(luò)的深度估計(jì)方法,旨在從圖像中推斷出場(chǎng)景中物體的距離信息。它通過(guò)Encoder和Decoder兩個(gè)主要組件來(lái)實(shí)現(xiàn)從輸入圖像到深度圖的映射。MiDaS的優(yōu)點(diǎn)包括能夠在單個(gè)前向傳播過(guò)程中生成高質(zhì)量的深度圖,并且具有較低的計(jì)算成本。相比于傳統(tǒng)的基于立體匹配的方法,MiDaS不需要額外的視差圖或多視角圖像,只需輸入單張RGB圖像即可完成深度估計(jì),這使得它在實(shí)際應(yīng)用中更加靈活和高效。此外,MiDaS還具有一定的泛化能力,可以處理不同場(chǎng)景和物體的深度估計(jì)。
LeReS深度信息估算也是用于檢測(cè)圖片的景深和光影的深度估計(jì)方法,但相對(duì)于MiDaS,其精度更高,出圖時(shí)間也更長(zhǎng)。
Zoe深度信息計(jì)算是一種結(jié)合了度量深度估計(jì)和相對(duì)深度估計(jì)的方法,可以用于估計(jì)圖像中每個(gè)像素的深度信息。它能夠?qū)⒁延袛?shù)據(jù)集的深度信息轉(zhuǎn)移到新的目標(biāo)數(shù)據(jù)集上,從而實(shí)現(xiàn)零樣本(Zero-shot)深度估計(jì)。
提示詞:【cutedog】
