1.Density-aware Single Image De-raining using a Multi-stream Dense Network CVPR2018
有感知/特征損失，[paper]、[testing code]
密度感知多路密集網(wǎng)絡(luò)DID-MDN，聯(lián)合完成雨點密度估計和雨點去除。
首先對輸入圖像的雨點程度（嚴(yán)重、中等、輕微）進(jìn)行分類/估計，然后利用多路密集網(wǎng)絡(luò)和標(biāo)注信息對輸入圖像進(jìn)行去雨處理。
效果非常好，速度也是非?？?，應(yīng)該是目前最好的模型。算法中的預(yù)訓(xùn)練，然后聯(lián)合訓(xùn)練，估計是很tricky的。
2、Attentive Generative Adversarial Network for Raindrop Removal from a Single Image CVPR2018
[paper]
該模型基于pix2pix，增加了attention-recurrent network，效果上比eigen2013的論文（第一個使用DL解決該問題的工作）好，也比pix2pix好。但是給論文沒有和其他算法比。
3、Densely Connected Pyramid Dehazing Network CVPR2018
使用黃色網(wǎng)絡(luò)估計transmission，利用藍(lán)色網(wǎng)絡(luò)估計atmospheric light，然后利用公式，計算得到去霧圖像。論文中總損失有4個子損失，訓(xùn)練非常tricky
4、Deep Joint Rain Detection and Removal from a Single Image CVPR2017
比1差。
其中B是原圖，O是帶雨的圖片，其他的量代表雨滴帶來的影響。S指疊加的雨滴的強(qiáng)度，R指含雨滴范圍的一個 binary mask，A對雨霧進(jìn)行建模。之所以將S、R分別描述并分別用網(wǎng)絡(luò)預(yù)測，是為了避免只回歸S影響了圖中不含雨滴的部分，R實際上描述了雨滴存在的區(qū)域，這也是標(biāo)題中rain detection的含義。S、R預(yù)測的例子可見下圖。t指的是圖片中多個方向的雨疊加的效果，訓(xùn)練所用的合成雨的圖片就是多次疊加的結(jié)果。最后A描述了一個圖像整體的偏移，這是由大雨中遠(yuǎn)處大量雨滴疊加造成的類似霧的效果，實際算法中也用了去霧算法做處理。
在訓(xùn)練時作者使用了多分支的dilated convolution網(wǎng)絡(luò)，以在節(jié)約計算量的同時擴(kuò)大網(wǎng)絡(luò)的感受，也獲得更多的context信息。網(wǎng)絡(luò)級聯(lián)地預(yù)測S和R，在訓(xùn)練時都提供loss，在測試時得到S、R后，按之前的模型進(jìn)行去雨處理。在實際實驗中還發(fā)現(xiàn)采用去雨1次 – 去霧1次 – 再去雨1次的流程得到的結(jié)果是最好的。
此外在訓(xùn)練數(shù)據(jù)和測試方法上都是沿用之前工作的方法。訓(xùn)練數(shù)據(jù)都是使用不帶雨的圖片人工合成帶雨的圖片，并從圖中抽取patch進(jìn)行訓(xùn)練。在測試流程上，對于合成圖片，主要比較衡量圖片結(jié)構(gòu)相似度的SSIM指標(biāo)。對于真實環(huán)境的帶雨圖片，主要是視覺上的qualitative比較。
5、Image De-raining Using a Conditional Generative Adversarial Network 2017
1中作者的以前工作，類似pix2pix。
6、Clearing the Skies: A Deep Network Architecture for Single-Image Rain Removal TIP2017
[paper]
7、Removing rain from single images via a deep detail network CVPR2017
[paper]
對于雨滴模型的創(chuàng)新主要是提出了2點insights。
1、類似ResNet的思路，回歸帶雨圖像與原圖的殘差，而不是直接輸出還原圖像。這樣一來可以使算法操作的圖像目標(biāo)值域縮小，稀疏性增強(qiáng)。實際上這一點在超分辨率等很多問題中已經(jīng)被廣泛應(yīng)用。
2、使用頻域變換，分離圖像中的低頻部分和高頻部分，只對高頻部分做去雨操作。原因是雨滴基本只存在于高頻部分，分離后可以使得操作目標(biāo)進(jìn)一步稀疏化，實驗效果顯著優(yōu)于不做這一操作的結(jié)果。
實現(xiàn)上作者使用了一個26層的ResNet，為了保證輸出分辨率不變，去掉了所有的Pooling操作。實驗表明：與直接輸入帶雨圖像、輸出原圖相比，一個26層的ResNet效果已經(jīng)與原始方法50層的ResNet效果相近，并顯著優(yōu)于其他舊方法。這證明了兩個技巧的有效性。
8、Rain Streak Removal Using Layer Priors CVPR2016
[paper]
9.Single Image Rain Streak Decomposition Using Layer Priors TIP2017
10、Perceptual Adversarial Networks for Image-to-Image Transformation 2017
類似pix2pix，有感知損失，[paper]
11.Non-locally Enhanced Encoder-Decoder Network for Single Image De-raining（2018ACM）
深入研究了一種有效的端到端神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，用于更強(qiáng)的特征表達(dá)和空間相關(guān)學(xué)習(xí)。具體來說，我們提出了一種非局部增強(qiáng)的編碼器 - 解碼器網(wǎng)絡(luò)框架，它由嵌入式索引編碼器 - 解碼器網(wǎng)絡(luò)組成，有效地學(xué)習(xí)越來越抽象的特征表示，以便更精確地進(jìn)行雨條紋建模，同時完美地保留圖像細(xì)節(jié)。所提出的編碼器 - 解碼器框架由一系列非局部增強(qiáng)的密集塊組成，這些塊不僅可以完全利用來自所有卷積層的分層特征，而且可以很好地捕獲長距離依賴性和結(jié)構(gòu)信息。對合成和真實數(shù)據(jù)集的大量實驗表明，所提出的方法可以有效地去除各種密度的雨天圖像上的雨條紋，同時保留圖像細(xì)節(jié)，與最近的最新方法相比，實現(xiàn)了顯著的改進(jìn)
