Abstract
盡管最近在圖像去霧方面取得了進(jìn)展，但是仍然存在很多問題，例如對(duì)于變化的場(chǎng)景的魯棒性，重建圖像的視覺質(zhì)量以及應(yīng)用的有效性和靈活性。為了解決這些問題，我們提出了一種新的深度網(wǎng)絡(luò)架構(gòu)，用于單圖像去霧，稱為DR-Net。我們的模型包括三個(gè)主要子網(wǎng)：預(yù)測(cè)輸入圖像的傳輸圖的傳輸預(yù)測(cè)網(wǎng)絡(luò)，重建由傳輸圖控制的潛在圖像的霧霾去除網(wǎng)絡(luò)，以及增強(qiáng)去霧結(jié)果的細(xì)節(jié)和顏色屬性的細(xì)化網(wǎng)絡(luò)通過弱監(jiān)督學(xué)習(xí)。與以前的方法相比，我們的方法在三個(gè)方面取得進(jìn)展：（i）純數(shù)據(jù)驅(qū)動(dòng)模型; （ii）端到端系統(tǒng); （iii）卓越的穩(wěn)健性，準(zhǔn)確性和適用性。大量實(shí)驗(yàn)表明，我們的DR-Net在定性和定量指標(biāo)上優(yōu)于合成和真實(shí)圖像的最新方法。此外，DR-Net的實(shí)用性已經(jīng)通過其在幾個(gè)重要的計(jì)算機(jī)視覺任務(wù)中的潛在用途得到了說(shuō)明。
I. I NTRODUCTION
在計(jì)算機(jī)視覺應(yīng)用和多媒體內(nèi)容共享中需要高質(zhì)量的圖像。 然而，在戶外環(huán)境中捕獲的圖像經(jīng)常遭受來(lái)自霧度的顯著干擾，霧度是由漂浮顆粒（例如，灰塵，煙霧和液滴）引起的自然大氣現(xiàn)象。 霧度對(duì)捕獲的圖像有兩個(gè)主要影響：光的衰減和圖像中添加劑成分的污染[1]。 具體而言，浮動(dòng)粒子的散射會(huì)扭曲從場(chǎng)景到相機(jī)的光的直接傳輸，使光從直線軌跡偏離并且如果粒子是光的話則將光分散。在尺寸上與探測(cè)光的波長(zhǎng)相當(dāng)。 衰減的透射減小了強(qiáng)度，而周圍的散射光引起了場(chǎng)景的模糊外觀
為了消除霧霾偽影，先前的單圖像去霧方法通常遵循類似的流程：（1）對(duì)介質(zhì)傳輸建模，（2）精煉粗糙傳輸模型，（3）估計(jì)全局大氣光，以及（4）重建潛在的圖像根據(jù)預(yù)測(cè)的模型參數(shù)。但是，這條管道存在一些限制。首先，通常基于先驗(yàn)估計(jì)傳輸。然而，當(dāng)在不受控制的光照條件，不同的霧度濃度和不同的場(chǎng)景深度下捕獲模糊圖像時(shí)，依賴于統(tǒng)計(jì)的先驗(yàn)不準(zhǔn)確。其次，當(dāng)存在白色物體，高光區(qū)域或陰影時(shí)，傳統(tǒng)的全局大氣光估計(jì)方法（例如，暗通道，四樹細(xì)分，亮通道等）經(jīng)常會(huì)出錯(cuò)。第三，當(dāng)單獨(dú)估計(jì)的變量組合時(shí)，將累積和放大單獨(dú)估計(jì)步驟中的誤差，這導(dǎo)致次優(yōu)的去霧性能[21]
為了解決這些局限性，我們提出了一種新的除霧網(wǎng)絡(luò)，該網(wǎng)絡(luò)受益于純數(shù)據(jù)驅(qū)動(dòng)的學(xué)習(xí)，端到端架構(gòu)和弱監(jiān)督細(xì)化。 在圖1（a）中觀察到，顯然霧度的存在極大地?fù)p害了圖像的視覺質(zhì)量。 與圖1（b）所示的最近基于深度學(xué)習(xí)的方法[21]的結(jié)果相比，我們的潛像（即最終細(xì)化結(jié)果）具有更好的對(duì)比度，細(xì)節(jié)和顏色。
II. RELATEDWORK
圖像去霧旨在從朦朧場(chǎng)景下拍攝的圖像中恢復(fù)清晰的圖像。 為解決這一不適定問題而開發(fā)的許多方法可以歸類為基于補(bǔ)充信息的方法和基于單圖像的方法。
基于補(bǔ)充信息的方法通常需要額外的知識(shí)，例如3D地理模型[3]，場(chǎng)景深度[4]，不同天氣條件下的場(chǎng)景的多個(gè)圖像[5]，偏振濾波器[6]等等。然而，這些方法大多是計(jì)算密集型的，并不適用于動(dòng)態(tài)場(chǎng)景。因此，人們非常關(guān)注單圖像去霧方法[1]，[7] - [9]，[12] - [16]，[19]，[20]。在[9]中，He等人觀察到一種有趣的無(wú)霧戶外圖像現(xiàn)象，即至少一個(gè)通道具有一些強(qiáng)度非常低的像素?；诖讼闰?yàn)，粗略估計(jì)了透射和全球大氣光。之后，基于通過軟匹配[10]或引導(dǎo)濾波器[11]以及估計(jì)的全局大氣光的精細(xì)傳輸來(lái)實(shí)現(xiàn)去霧圖像。在[1]中，Berman等人提出了一種非局部圖像去霧方法，該方法依賴于這樣的假設(shè)：無(wú)霧圖像的顏色很好地近似于幾百種不同的顏色，這些顏色在RGB空間中形成緊密的簇。
隨著深度學(xué)習(xí)解決方案的出現(xiàn)[17]，基于深度學(xué)習(xí)的方法在圖像去霧方面取得了很好的表現(xiàn)。在[19]，[20]中，利用卷積神經(jīng)網(wǎng)絡(luò)（CNN）來(lái)預(yù)測(cè)傳輸。之后，使用引導(dǎo)過濾[11]作為后處理來(lái)抑制由基于塊的預(yù)測(cè)引起的預(yù)測(cè)傳輸中的光暈效應(yīng)。通過傳統(tǒng)方法估計(jì)的透射和全局大氣光，重建了無(wú)霧圖像。與Cai等人不同。 [19]和任等人。 [20]，它分別估計(jì)模型參數(shù)和使用后處理，DR-Net直接在其端到端系統(tǒng)中產(chǎn)生清晰的圖像。在[21]中，Li在一個(gè)統(tǒng)一的CNN模型中估計(jì)了霧霾圖像形成模型的參數(shù)。這種一體化模型使得將模型嵌入到其他深層模型中變得容易。雖然基于深度學(xué)習(xí)的方法具有優(yōu)勢(shì)，但仍有很大的改進(jìn)空間，例如變化場(chǎng)景的魯棒性，重建圖像的保真度和視覺質(zhì)量，以及應(yīng)用的靈活性。
A. Our Contributions
DR-Net是純數(shù)據(jù)驅(qū)動(dòng)的端到端全卷積網(wǎng)絡(luò)，由三個(gè)主要子網(wǎng)絡(luò)組成，專為特定任務(wù)而設(shè)計(jì)。 貢獻(xiàn)總結(jié)如下：
據(jù)我們所知，這是第一次嘗試研究單一圖像去霧的強(qiáng)弱監(jiān)督學(xué)習(xí)的組合。 DR-Net基于強(qiáng)監(jiān)督學(xué)習(xí)重建潛像，而通過基于生成對(duì)抗網(wǎng)絡(luò)（GAN）的弱監(jiān)督學(xué)習(xí)進(jìn)一步細(xì)化去噪結(jié)果。 此外，DR-Net包括傳輸預(yù)測(cè)子網(wǎng)，其改善了霧霾去除性能和訓(xùn)練收斂。
DR-Net不是遵循傳統(tǒng)的管道，而是以純數(shù)據(jù)驅(qū)動(dòng)和端到端的方式直接預(yù)測(cè)清晰的圖像，這種圖像更靈活，適合實(shí)際應(yīng)用。 此外，DR-Net直接最小化重建損失，以避免來(lái)自傳輸和全球大氣光的個(gè)體估計(jì)的累積誤差。 這產(chǎn)生更準(zhǔn)確的重建結(jié)果。
III. DR-NET
為了以端到端的方式自動(dòng)揭示模糊圖像和無(wú)霧圖像之間的基礎(chǔ)相關(guān)性，DR-Net采用傳輸預(yù)測(cè)子網(wǎng)，霧霾去除子網(wǎng)和細(xì)化子網(wǎng)。 DR-Net架構(gòu)概述如圖2所示。接下來(lái)，我們將詳細(xì)解釋這三個(gè)子網(wǎng)。 在此之前，我們首先制定問題。
B. Transmission Prediction Subnetwork
受[23]的啟發(fā)，我們?cè)贒R-Net中采用了傳輸預(yù)測(cè)子網(wǎng)。 該子網(wǎng)還采用[20]中提出的多尺度完全卷積網(wǎng)絡(luò)架構(gòu)，其由粗尺度網(wǎng)絡(luò)和精細(xì)尺度網(wǎng)絡(luò)組成。 粗尺度網(wǎng)絡(luò)的任務(wù)是預(yù)測(cè)場(chǎng)景的整體傳輸，并且精細(xì)尺度網(wǎng)絡(luò)的任務(wù)是細(xì)化傳輸?shù)募y理。 在精細(xì)尺度網(wǎng)絡(luò)中，第一層的輸出與來(lái)自粗尺度網(wǎng)絡(luò)的輸出連接，作為第二層的輸入。 與[20]不同，我們刪除了池化和上采樣操作，這些操作往往會(huì)導(dǎo)致預(yù)測(cè)的傳輸輸出模糊。
1）傳輸預(yù)測(cè)子網(wǎng)的損失函數(shù)：對(duì)于粗尺度傳輸預(yù)測(cè)網(wǎng)絡(luò)，我們施加重建目標(biāo)，即我們最小化均方誤差（MSE）損失函數(shù)
其中N是batchsize，H×W是傳輸圖的維數(shù)，F(xiàn)cs是粗尺度網(wǎng)絡(luò)的學(xué)習(xí)傳輸預(yù)測(cè)映射函數(shù)，Xi是輸入模糊圖像，F(xiàn)cs（Xi）是預(yù)測(cè)粗傳輸特征圖，ti是傳輸圖的清晰圖像。 使用MSE損失，實(shí)現(xiàn)具有粗略細(xì)節(jié)和紋理的預(yù)測(cè)透射圖。 然后，粗略傳輸圖與第一層精細(xì)網(wǎng)絡(luò)的輸出連接，作為精細(xì)尺度網(wǎng)絡(luò)的第二層輸入。 對(duì)于精細(xì)尺度傳輸預(yù)測(cè)網(wǎng)絡(luò)，我們還最小化MSE損失函數(shù)
其中Ffs是精細(xì)規(guī)模網(wǎng)絡(luò)的學(xué)習(xí)傳輸預(yù)測(cè)映射函數(shù)。
為了進(jìn)一步保持預(yù)測(cè)精細(xì)傳輸?shù)慕Y(jié)構(gòu)和紋理，我們?cè)诰?xì)尺度網(wǎng)絡(luò)中添加了結(jié)構(gòu)相似性指數(shù)（SSIM）損失[30]。 首先，如下計(jì)算預(yù)測(cè)精細(xì)透射圖F fs（X i）和地面實(shí)況t i之間的每個(gè)像素的SSIM值：
傳輸預(yù)測(cè)子網(wǎng)的最終損耗函數(shù)是上述引入的損耗與以下權(quán)重的線性組合
基于訓(xùn)練數(shù)據(jù)的初步實(shí)驗(yàn)，憑經(jīng)驗(yàn)挑選混合權(quán)重。
C. Haze Removal Subnetwork
透射率表示到達(dá)相機(jī)的場(chǎng)景輻射的百分比，透射圖表示輸入模糊圖像中的霧度濃度，這是霧度去除的重要線索。 與先前估計(jì)透射圖然后根據(jù)透射圖的引導(dǎo)直接重建潛在結(jié)果的方法不同，我們將預(yù)測(cè)的精細(xì)透射圖作為附加特征圖饋送到霧霾去除子網(wǎng)中，以便自動(dòng)揭示模糊圖像和透射圖和無(wú)霧圖像之間的基礎(chǔ)相關(guān)性。
對(duì)于霧霾去除子網(wǎng)，我們了解原始模糊圖像與相應(yīng)霧度之間的殘差 -
免費(fèi)圖像。 剩余學(xué)習(xí)使端到端訓(xùn)練更容易，更有效，因?yàn)檫@可能只是將多個(gè)非線性層的權(quán)重推向零[28]。雖然預(yù)測(cè)殘差的概念已經(jīng)用于以前的方法[24] - [26] ]，[29]，尚未在基于學(xué)習(xí)的霧霾去除的背景下進(jìn)行研究。 此外，我們通過在每個(gè)塊的末尾堆疊早期層來(lái)增強(qiáng)它，這增強(qiáng)了特征傳播并減輕了消失梯度問題[27]。 霧霾去除子網(wǎng)結(jié)構(gòu)可以在圖2中找到。
1）霧霾去除子網(wǎng)的損失函數(shù)：為了學(xué)習(xí)殘差映射，我們將估計(jì)殘差添加到輸入朦朧圖像并最小化MSE損失
其中Fd是學(xué)習(xí)殘差映射函數(shù)，Yi是模糊圖像Xi的清晰圖像，C×H×W是輸入圖像的維數(shù)。 但是，我們注意到直接優(yōu)化MSE損失函數(shù)往往會(huì)引入偽像和假邊界。 因此，類似于我們?cè)冢?）和（6）中的表述，我們還計(jì)算了去霧結(jié)果和基礎(chǔ)事實(shí)之間的SSIM損失（L d SSIM）。 霧霾去除子網(wǎng)的最終損失函數(shù)是上述損失的線性組合：
我們的霧霾清除網(wǎng)絡(luò)是一個(gè)完全卷積網(wǎng)絡(luò)，用于計(jì)算效率，它不包括批量標(biāo)準(zhǔn)化層，不丟棄任何有用的圖像細(xì)節(jié)。
D. Refinement Subnetwork
然而，傳輸預(yù)測(cè)子網(wǎng)和霧度去除子網(wǎng)的組合可以產(chǎn)生清晰的圖像
這種去霧輸出可能具有不精確的顏色范圍和對(duì)比度，特別是對(duì)于戶外數(shù)據(jù)。 原因是使用室內(nèi)RGB-D數(shù)據(jù)集使用合成模糊圖像訓(xùn)練去霧子網(wǎng)。
為了解決這個(gè)問題，我們?cè)O(shè)計(jì)了一個(gè)細(xì)化子網(wǎng)，以增強(qiáng)基于弱監(jiān)督學(xué)習(xí)的去霧輸出的對(duì)比度和顏色。 細(xì)化網(wǎng)絡(luò)的靈感來(lái)自弱監(jiān)督學(xué)習(xí)模型[31] - [33]，旨在捕獲給定圖像集合的特殊特征，并建模如何將這些特征轉(zhuǎn)換為另一個(gè)圖像集合。
我們的目標(biāo)是學(xué)習(xí)從源域X（即，具有單調(diào)顏色和模糊細(xì)節(jié)的低質(zhì)量圖像）到目標(biāo)域Y（即，具有鮮艷顏色和清晰細(xì)節(jié)的高質(zhì)量圖像）的映射函數(shù)。 遵循GAN概念，細(xì)化子網(wǎng)包括生成器G和鑒別器D.G的任務(wù)是欺騙D，使得D將G的輸出（即，精細(xì)圖像）混淆為高質(zhì)量圖像。 具體地，G旨在細(xì)化給定的低質(zhì)量圖像，而D試圖區(qū)分精制圖像是否真實(shí)。 請(qǐng)注意，與產(chǎn)生新穎圖像的[34] - [36]不同，我們的網(wǎng)絡(luò)僅增強(qiáng)其輸入。
我們使用完全卷積網(wǎng)絡(luò)作為生成器，其中我們?cè)趯?duì)稱層上結(jié)合嵌套的快捷連接（即，跳過連接）以解決消失的梯度問題，因?yàn)榭旖葸B接可以在反向傳播的過程中有效地傳播梯度。 生成器網(wǎng)絡(luò)中的所有卷積層之后是批量歸一化和ReLU激活函數(shù)，除了最后一個(gè)，其中將縮放的雙曲正切應(yīng)用于輸出。 我們采用[35]中提出的基于CNN的架構(gòu)作為我們的鑒別器，因?yàn)樗暮?jiǎn)單性和有效性。 細(xì)化子網(wǎng)架構(gòu)可以在圖2中找到。
1）細(xì)化子網(wǎng)的損失函數(shù)：對(duì)于發(fā)電機(jī)功能G：X→Y和鑒別器D，
對(duì)抗性損失表示為：
其中x∈域X，y∈域Y，F(xiàn) c是學(xué)習(xí)的霧霾去除映射函數(shù)，G試圖生成看起來(lái)類似于來(lái)自域Y的圖像的圖像G（F c（x）），而D旨在區(qū)分G（ F c（x））和實(shí)際樣本y。 G試圖最大限度地減少對(duì)抗試圖最大化它的敵對(duì)D的損失。 此外，我們希望我們的精煉結(jié)果能夠保持去噪結(jié)果的內(nèi)容和結(jié)構(gòu)。 因此，我們將MSE和SSIM損失包括在細(xì)化子網(wǎng)優(yōu)化中。 MSE損失表示為
其中N是batchsize，F(xiàn)c是學(xué)習(xí)的霧霾去除映射函數(shù)，G是生成器網(wǎng)絡(luò)的學(xué)習(xí)映射函數(shù)，x i是輸入模糊圖像，C×H×W是輸入圖像的維數(shù)。 SSIM損失L rf SSIM的計(jì)算類似于（5）和（6）。 細(xì)化子網(wǎng)的總損耗表示為
