Contrastive Learning for Compact Single Image Dehazing
1. 摘要
1.1 現(xiàn)有模型不足：
1、現(xiàn)有模型主要利用正樣本信息作為指導(dǎo)進(jìn)行去霧，負(fù)樣本的信息沒有充分利用。
2、大部分工作側(cè)重于加強(qiáng)除霧網(wǎng)絡(luò)的深度和寬度，導(dǎo)致對(duì)計(jì)算量和內(nèi)存需求巨大。
1.2 本文工作：
1、建立在對(duì)比學(xué)習(xí)的基礎(chǔ)上，提出了一種新的對(duì)比正則化(CR)。利用模糊圖像和清晰圖像的信息分別作為負(fù)樣本和正樣本。CR保證了恢復(fù)后的圖像在表示空間中被拉得離清晰圖像更近，離模糊圖像更遠(yuǎn)。
2、考慮到性能和內(nèi)存存儲(chǔ)的平衡，我們開發(fā)了一個(gè)緊湊的基于類自動(dòng)編碼器（autoencoder-like) 框架的去霧網(wǎng)絡(luò)。
2. 提出的模型
2.1 符號(hào)表示
通常，去霧模型表示如下：
其中，前者表示數(shù)據(jù)保真項(xiàng)（data fidelity term），后者表示正則項(xiàng)。
2.2 Autoencoder-like Dehazing Network
受FFA-Net[34]高效FA塊的啟發(fā)，提出的類自動(dòng)編碼器(AE)網(wǎng)絡(luò)中使用FA Block作為基本塊。如圖所示，網(wǎng)絡(luò)首先進(jìn)行一個(gè)4X 下采樣操作（一個(gè)步長(zhǎng)為1的卷積與兩個(gè)步長(zhǎng)為2的卷積），然后使用FA Block學(xué)習(xí)低分辨率空間的特征表示，最后利用4X 上采樣操作與一個(gè)卷積操作生成恢復(fù)后的圖像。
值得注意的是，模型只使用了6個(gè)FA塊(而在FFA-Net中使用57個(gè)FA塊)，顯著減少了FA塊的數(shù)量。為了改善層間的信息流動(dòng)，融合更多空間結(jié)構(gòu)的信息，提出了兩種不同的連接模式:
(1)Adaptive Mixup for Feature Preserving：動(dòng)態(tài)融合下采樣層和上采樣層之間的特征以實(shí)現(xiàn)特征保留；
?Adaptive mixup dynamically fuses the features between the downsampling layers and the upsampling layers for feature preserving；
(2)Dynamic Feature Enhancement（DFE）：通過融合更具有空間結(jié)構(gòu)的信息來(lái)增強(qiáng)轉(zhuǎn)換能力。
2.2.1?Adaptive Mixup for Feature Preserving
Low-level features （比如 邊緣和輪廓）通常會(huì)被卷積神經(jīng)網(wǎng)絡(luò)的淺層所捕捉到。然而，隨著層數(shù)的加深， 淺層特征對(duì)逐漸退化。為了解決這個(gè)問題，已經(jīng)有很多先前的工作，比如skip connections 跟??concatenation operation。為了避免淺層特征的丟失，模型在下采樣層與上采樣層之間加入了mixup operation。該操作可以表示為
其中，權(quán)重是通過注意力機(jī)制學(xué)到的。
2.2.2 Dynamic Feature Enhancement
以往的工作通常采用固定的網(wǎng)格核，這會(huì)限制 receptive field，使得網(wǎng)絡(luò)不能利用特征空間中的結(jié)構(gòu)化信息。作為一種選擇，可以使用膨脹卷積來(lái)擴(kuò)大receptive field，但是，這會(huì)引起網(wǎng)格偽影。同時(shí)，卷積核的形狀對(duì)于擴(kuò)大 receptive field 也是很重要的，具有靈活卷積核的可變形卷積可以可以捕獲更多的重要信息。研究[47]表明，空間不變的卷積核會(huì)導(dǎo)致圖像紋理和過平滑偽像的損壞，因此，提出了可變形的2D核來(lái)增強(qiáng)圖像去噪的特征。本文也使用了兩個(gè)可變形卷積模塊。作者還發(fā)現(xiàn)，在深層之后部署的DFE比淺層部署的性能更好。
2.2.3?Contrastive Regularization
對(duì)比學(xué)習(xí)的目的是學(xué)習(xí)一個(gè)表示，在度量空間上拉近正對(duì)的表示之間的距離，推開負(fù)對(duì)的表示之間的距離。受此啟發(fā)，本文提出了一種新的對(duì)比正則化方式來(lái)更好地恢復(fù)圖像。在對(duì)比正則化方面，有兩個(gè)方面的問題需要考慮：一個(gè)是構(gòu)建正樣本與負(fù)樣本之間的對(duì)比損失，另一個(gè)是構(gòu)建兩個(gè)正樣本之間的對(duì)比損失。對(duì)于潛在特征空間，本文利用預(yù)訓(xùn)練的VGG-19模型來(lái)構(gòu)建特征空間。上面提出的優(yōu)化問題可以轉(zhuǎn)化為：
對(duì)于重建損失，采用了L1損失。對(duì)于對(duì)比正則項(xiàng)，為了增強(qiáng)對(duì)比能力，我們從固定的預(yù)訓(xùn)練模型的不同層中提取隱藏特征，上式可進(jìn)一步寫為：
其中，D(x，y) is the L1 distance between x and y，w is a weight coefficient。此外，感知損失通過利用從預(yù)先訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)中提取的多層特征來(lái)衡量預(yù)測(cè)和地面真實(shí)之間的視覺差異。與正導(dǎo)向正則化的感知損失不同，本文還采用模糊圖像(去霧網(wǎng)絡(luò)的輸入)作為負(fù)約束來(lái)約束解空間，實(shí)驗(yàn)證明了本文的方法的優(yōu)越性。
3. 實(shí)驗(yàn)結(jié)果
3.1 與其他模型對(duì)比
3.2 消融研究
