本文是CVPR2018年中國傳媒大學(xué)發(fā)的一篇關(guān)于IQA的文章，同期CVPR北大也有發(fā)一篇“Hallucinated-IQA: No-Reference Image Quality Assessment via Adversarial Learning”，這兩篇文章有很多異曲同工之處，都是借助一個網(wǎng)絡(luò)對distorted image進(jìn)行處理，生成出一個處理后的圖用來輔助IQA的分?jǐn)?shù)擬合。但不同于Hallucinated-IQA的是：本文生成出來的是相似圖（指distorted圖像同reference圖像之間的由某種方法獲得的相似圖，這些相似圖可以表示出來圖像質(zhì)量下降的程度），計算IQA的時候直接將這個中間相似圖輸入IQA的網(wǎng)絡(luò)得到分?jǐn)?shù)。

所以算法結(jié)構(gòu)由兩部分組成，第一個全連接的FCNN用來生成相似質(zhì)量圖，而后將相似質(zhì)量圖輸入第二個DPN中用來擬合IQA的得分，整體網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示：紅色部分為生成網(wǎng)絡(luò)，用來生成質(zhì)量圖；藍(lán)色部分為回歸網(wǎng)絡(luò)，用來擬合圖像質(zhì)量得分。

整個框架的目標(biāo)函數(shù)就是上式，M（Id, Ir）對應(yīng)著生成網(wǎng)絡(luò)，生成相似性索引圖，而P對應(yīng)著DPN，回歸出圖像質(zhì)量得分。

首先，FCNN的生成網(wǎng)絡(luò)部分，網(wǎng)絡(luò)結(jié)構(gòu)是U-Net，4個下采樣和對應(yīng)的4個上采樣通過skip連接起來，以便于更好的獲得淺層的信息。輸入圖像是distorted圖像中裁剪得到的image patch（不同于WaDIQAM等IQA方法，這里的patch大小設(shè)置為144*144*3，相別而言要大很多），label直接利用現(xiàn)有的表現(xiàn)良好的幾個FR-IQA指標(biāo)獲得，這里選取的是SSIM，F(xiàn)SIM和MDSI，這三種方法幾乎是目前除深度學(xué)習(xí)之外最好的FR-IQA方法了。用這三種方法求得相似度圖作為對應(yīng)label，SSIM是根據(jù)圖像的亮度，對比度和結(jié)構(gòu)性進(jìn)行平均求得相似性，所以直接選取SSIM派生的相似度圖直接用作label；FSIM通過合并權(quán)重來組合PC相位一致性和GM梯度幅度，所以分別選擇PC和GM兩個相似圖作為label；MDSI 選擇漸變和色度相似圖的組合作為label。這樣就會有4種label（1+2+1），分別對應(yīng)著4個生成網(wǎng)絡(luò)的model。

由上述4個model產(chǎn)生的預(yù)測質(zhì)量圖通過一定的融合輸入到DPN中進(jìn)行打分，融合方式有下圖兩種，a先對map進(jìn)行concat再經(jīng)過single網(wǎng)絡(luò)預(yù)測得分稱為single stream；b用不同的兩支網(wǎng)絡(luò)進(jìn)行特征提取，再進(jìn)行concat，稱為multi stream。

而后，將map輸入到回歸網(wǎng)絡(luò)DPN中預(yù)測得分，DPN的結(jié)構(gòu)很簡單，由5個3*3的卷積層和2個全連接組成，loss采取L2范數(shù)。在這里作者也對比了其他類型的網(wǎng)絡(luò)結(jié)構(gòu)，在后續(xù)實驗部分展開。

實驗：首先針對FCNN部分生成的相似圖，分別采用SSIM，F(xiàn)SIM和MDSI作為label進(jìn)行預(yù)測，結(jié)果如下圖所示，（A）,(B), (C)分別是經(jīng)過JPEG壓縮，加入高頻噪聲和局部塊失真的圖，其中（1）--（3）為真實label的質(zhì)量圖，（4）--（6）為與（1-3）對應(yīng)的預(yù)測質(zhì)量圖的結(jié)果。可以看出，單從FCNN的預(yù)測結(jié)果來看，每一個label下的預(yù)測都與真實相似圖很相近，而具體哪一種label下的相似圖更有利于IQA問題，就要從后續(xù)實驗結(jié)果觀察了。

第二個實驗就是針對是否采用FCNN先預(yù)測相似圖進(jìn)行對比實驗，作者分別采取SSIM的相似圖和FSIM中梯度的相似圖作為label，在FCNN上預(yù)測結(jié)果在TID2013上進(jìn)行了實驗，并直接將label輸入DPN進(jìn)行IQA預(yù)測，和直接將distorted image輸入DPN進(jìn)行預(yù)測作為對比，最終實驗結(jié)果如下表：其中D_LB表示直接將distorted image輸入DPN；S_PM是以SSIM相似圖為label的預(yù)測結(jié)果；Fg_PM是以FSIM中梯度相似圖作為label的預(yù)測結(jié)果；S_LB和Fg_LB是直接用SSIM和FSIM梯度的相似圖輸入DPN; SSIM和FSIMc就是這兩種IQA方法的準(zhǔn)確性。

從上表S_LB相比SSIM和D_LB增加幅度可以看出深度學(xué)習(xí)的有效性，以及相似圖的有效性，但看NR中的兩個結(jié)果就能發(fā)現(xiàn)FCNN網(wǎng)絡(luò)的預(yù)測并不夠好，與真實的相似圖IQA指標(biāo)差距明顯。

第三個實驗，針對不同的label進(jìn)行對比測試，四種相似圖label分別對應(yīng)著上文提到的SSIM1+FSIM2+MSDI1，顯然MSDI的相似圖作為label時結(jié)果最好。

第四個實驗，針對上文所提到的特征融合方法進(jìn)行對比，總的來說融合沒有用，single比multi好。

第五個實驗，對DPN網(wǎng)絡(luò)結(jié)構(gòu)選取進(jìn)行了實驗，對比可知本文所提出的簡單的5個卷積層的結(jié)構(gòu)對于IQA足矣。

最后的實驗就是針對整個算法性能的了，效果不錯，但對比同期的“Hallucinated-IQA: No-Reference Image Quality Assessment via Adversarial Learning”效果還是不如。