Abstract
在本文中，我們提出了一個名為Cycle-Dehaze的端到端網(wǎng)絡，用于單個圖像去霧問題，它不需要成對的模糊和相應的地面真實圖像進行訓練。也就是說，我們通過以不成對的方式提供干凈和模糊的圖像來訓練網(wǎng)絡。此外，所提出的方法不依賴于大氣散射模型參數(shù)的估計。我們的方法通過結(jié)合循環(huán)一致性和感知損失來增強CycleGAN制劑，以便改善紋理信息恢復的質(zhì)量并產(chǎn)生視覺上更好的無霧圖像。通常，用于去霧的深度學習模型將低分辨率圖像作為輸入并產(chǎn)生低分辨率輸出。然而，在NTIRE 2018對單圖像去霧的挑戰(zhàn)中，提供了高分辨率圖像。因此，我們應用雙三次縮小。在從網(wǎng)絡獲得低分辨率輸出后，我們利用拉普拉斯金字塔將輸出圖像放大到原始分辨率。我們在NYU-Depth，I-HAZE和O-HAZE數(shù)據(jù)集上進行了實驗。大量實驗表明，所提出的方法在數(shù)量和質(zhì)量上都改進了CycleGAN方法。
1.Introduction
????由Goodfellow等人介紹的GAN在圖像生成任務中非常成功，例如， 數(shù)據(jù)增強，圖像修復和樣式轉(zhuǎn)移。 他們的主要目標是生成與目標域上的原始圖像無法區(qū)分的假圖像。 通過利用GAN，存在最先進的方法。對于單個圖像去霧，其需要以成對方式模糊輸入圖像及其基礎(chǔ)事實。 最近，在CycleGAN提出用于圖像到圖像轉(zhuǎn)換的循環(huán)一致性損失之后，不需要配對的數(shù)據(jù) 。 受循環(huán)一致性損失的啟發(fā)，Yang等人已經(jīng)引入DisentangledDehazing Network（DDN）。 用于單個圖像去霧。 與CycleGAN架構(gòu)不同，DDN通過大氣散射模型重建循環(huán)圖像，而不是使用另一個生成器。 因此，它需要在訓練階段的場景輻射，中等透射圖和全球大氣光。
????在這項工作中，我們通過聚合循環(huán)一致性和感知損失利用CycleGAN [37]架構(gòu)引入Cycle-Dehaze網(wǎng)絡。我們的主要目的是建立一個端到端的網(wǎng)絡，無論單個圖像去霧的大氣散射模型如何。為了將輸入圖像輸入到我們的網(wǎng)絡中，通過雙三次縮減將它們調(diào)整為256×256像素分辨率。在對輸入圖像進行去霧后，將雙三次升級到其原始大小不足以估計丟失的信息。為了能夠獲得高分辨率圖像，我們采用了一種基于拉普拉斯金字塔的簡單上采樣方法。我們在D-HAZY的NYU-Depth部分和單圖像去霧數(shù)據(jù)集上的NTIRE 2018挑戰(zhàn)中進行實驗：I-HAZE和O-HAZE。根據(jù)我們的結(jié)果，Cycle-Dehaze實現(xiàn)了比CycleGAN架構(gòu)更高的圖像質(zhì)量指標。此外，我們分析了Cycle-Dehaze在跨數(shù)據(jù)集場景中的表現(xiàn)，也就是說，我們在訓練和測試階段使用不同的數(shù)據(jù)集。
我們的主要貢獻總結(jié)如下：
我們通過增加循環(huán)感知 - 一致性損失以及循環(huán)一致性損失來增強用于單圖像去霧的CycleGAN架構(gòu)。
我們的方法既不需要模糊和真實圖像的樣本，也不需要在訓練和測試階段的任何大氣散射模型參數(shù)
我們提出了一種簡單而有效的技術(shù)，通過拉普拉斯金字塔來放大帶霧圖像。
由于其循環(huán)結(jié)構(gòu)，我們的方法提供了一個通用模型，可以通過跨數(shù)據(jù)集場景的實驗證明。
2.Related Work
3.Proposed Method
????Cycle-Dehaze是用于單圖像去霧的CycleGAN架構(gòu)的增強版本。 為了提高視覺質(zhì)量指標，PSNR，SSIM，它利用了EnhanceNet啟發(fā)的感知損失。 這種損失的主要思想是比較特征空間中的圖像而不是像素空間中的圖像。 因此，Cycle-Dehaze將原始圖像與兩個空間處的重建循環(huán)圖像進行比較，其中循環(huán)一致性損失確保了高PSNR值，并且感知損失保持了圖像的清晰度。 此外，Cycle-Dehaze使用傳統(tǒng)的拉普拉斯金字塔，在主要的除霧過程后提供更好的上采樣結(jié)果。 圖2顯示了Cycle-Dehaze架構(gòu)的整體表示。
????如圖2所示，Cycle-Dehaze架構(gòu)由兩個生成器G，F(xiàn)和兩個鑒別器Dx，Dy組成。 除了常規(guī)鑒別器和生成器損失之外，為了增加/添加霧度，從該架構(gòu)循環(huán)一致性和循環(huán)感知一致性損失的組合中獲益。 結(jié)果，該架構(gòu)保留輸入圖像的紋理信息并產(chǎn)生無霧輸出。 另一方面，追求循環(huán)一致性和感知性損失之間的平衡并非易事。 給感知損失過重會導致去霧過程后顏色信息的丟失。 因此，循環(huán)一致性損失需要具有比感知損失更高的權(quán)重。
????Cyclic perceptual-consistency loss.CycleGAN [37]架構(gòu)引入了循環(huán)一致性損失，它計算原始圖像和循環(huán)圖像之間的L1范數(shù)，用于不成對的圖像到圖像轉(zhuǎn)換任務。 然而，原始圖像和循環(huán)圖像之間的這種計算損失不足以恢復所有紋理信息，因為模糊的圖像大部分被嚴重破壞。 循環(huán)感知 - 一致性損失旨在通過查看從VGG16體系結(jié)構(gòu)的第二和第五池化層提取的高級和低級特征的組合來保留原始圖像結(jié)構(gòu)。 在x∈X，y∈Y和發(fā)生器G：X→Y的約束下，發(fā)生器F：Y→X，下面給出了循環(huán)感知 - 一致性損失的表達式，其中（x，y）指的是模糊和基本事實 不成對的圖像集和φ是來自第2和第5個池層的VGG16 [29]特征提取器：
Laplacian upscaling.Cycle-Dehaze架構(gòu)采用256×256像素分辨率輸入圖像，由于GPU限制，產(chǎn)生256×256像素分辨率輸出圖像。 為了減少縮小和放大過程中圖像質(zhì)量的惡化，我們利用拉普拉斯金字塔，這是通過使用高分辨率模糊圖像創(chuàng)建的。 為了獲得高分辨率的去噪圖像，我們用我們的去噪低分辨率圖像改變了拉普拉斯金字塔的頂層，并像往常一樣執(zhí)行拉普拉斯放大過程。 拉普拉斯金字塔的這種基本用法尤其在清潔過程中保留了模糊圖像的大部分邊緣，并在升級階段提升了SSIM值。 拉普拉斯算子升級是在處理高分辨率圖像時可選的后處理步驟。
conclusion
我們提出了一個單一的圖像去霧網(wǎng)絡，名為Cycle-Dehaze，它可以直接從朦朧的輸入圖像生成無霧圖像，而無需估算大氣散射模型的參數(shù)。此外，我們的網(wǎng)絡以不成對的方式提供朦朧和地面真實圖像的訓練過程。為了保持無霧圖像的高視覺質(zhì)量，我們通過將它與感知損失相結(jié)合來改善CycleGAN架構(gòu)的循環(huán)一致性損失。 Cycle-Dehaze將低分辨率圖像作為輸入，因此需要將其輸入縮小為預處理步驟。為了在調(diào)整大小時減少圖像失真，我們利用拉普拉斯金字塔來放大低分辨率圖像，而不是直接使用雙三次放大。實驗結(jié)果表明，我們的方法產(chǎn)生視覺上更好的圖像，并實現(xiàn)比CycleGAN架構(gòu)更高的PSNR和SSIM值。此外，我們在跨數(shù)據(jù)集場景中進行了額外的實驗，以證明我們的模型對不同域的普遍性。
