本文是基于neural style transfer a review 以及其他相關(guān)論文。

1. 基于圖像迭代的描述性神經(jīng)方法

代表性文章時gaty的開山之作，A neural algorithm of artistic style. 這是一種慢的神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)風(fēng)格遷移的方法。

重點(diǎn)之一：常見的深度學(xué)習(xí)問題是利用訓(xùn)練樣本的輸入來學(xué)習(xí)網(wǎng)絡(luò)的權(quán)重。而本文利用已經(jīng)訓(xùn)練好的權(quán)重，獲取一個符合輸出要求的輸入。

輸入：以高斯噪聲為初始化的輸入圖像。

經(jīng)過多次迭代，輸入響應(yīng)即為特定風(fēng)格和內(nèi)容的圖像。所以這種方法學(xué)習(xí)的是像素值，而不是權(quán)重。

重點(diǎn)之二：引入了新的loss function。

content loss： 即輸入輸出圖像之間像素點(diǎn)的差。用mse來做。

style loss：用gram matrics來計(jì)算。最終表現(xiàn)形式也是mse類似。

2. 基于模型迭代的生成式神經(jīng)方法

基于模型迭代的方法是快速的風(fēng)格遷移的方法。

2.1 ?一種風(fēng)格一個模型

代表作是perceptual losses for real-time style transfer and super-resolution。

重點(diǎn)之一：本文介紹了兩個網(wǎng)絡(luò)組成的大網(wǎng)絡(luò)。前半部分的網(wǎng)絡(luò)叫做image transfer,后半部分的網(wǎng)絡(luò)叫做loss network。image transfer的網(wǎng)絡(luò)，權(quán)重是更新的；而loss network的網(wǎng)絡(luò)，權(quán)重是不更新的，是pretrained的vgg網(wǎng)絡(luò)，是用來做高維特征提取的。其實(shí)就是輸入原圖，然后通過image transfer網(wǎng)絡(luò)，來生成帶有風(fēng)格fs的輸出，然后用loss network來優(yōu)化誤差，以達(dá)到理想的效果。

重點(diǎn)之二：提出來新的loss function。

feature reconstruction loss: 這里不采用與A neural algorithm of artistic style這篇論文一樣的loss function，而是用vgg提取特征作為content loss的衡量。作者這么做的目的就是說，原來那種像素點(diǎn)之間的一一對應(yīng)的誤差函數(shù)，在很多情況下的衡量是不準(zhǔn)確的。比如兩張圖片，只發(fā)生了一個像素點(diǎn)的偏移。用content loss算出來的話，這個結(jié)果是天差地別的，然而實(shí)際上這兩張圖片對人眼來說是沒有太大差別的。所以用vgg提取的高層特征作為content loss是有道理的。但是，這種方法也有一個缺點(diǎn)，那就是學(xué)出來的東西比較假，不會太真實(shí)。

style reconstruction loss：這里和上一篇一樣，都使用了gram matrix來作為風(fēng)格特征。

2.2 多種風(fēng)格一個模型

2.3 任意風(fēng)格一個模型

3. 當(dāng)前方法上的輕微修改

4. 特定類型圖像的擴(kuò)展

(1) DSLR-Quality photos on mobile devices with deep convolutional networks.

這篇論文的輸入是手機(jī)照片(比如iphone, blackberry等)，輸出是單反照片。

重點(diǎn)之一：使用gan網(wǎng)絡(luò)

重點(diǎn)之二：增加了新的loss function。

color loss：顏色損失計(jì)算之前，要對圖像進(jìn)行高斯模糊處理。為什么用高斯模糊處理的原因是，高斯模糊能出去高頻的信息，使得顏色之間更容易比較。顏色損失對小的誤差匹配有較高的容忍性。因此，能學(xué)習(xí)到和目標(biāo)圖片相似的顏色分布。

texture loss：使用gan網(wǎng)絡(luò)，用判別網(wǎng)絡(luò)的正確率來作為質(zhì)地誤差的衡量。

content loss：以vgg抽象出的高維特征的歐式距離作為內(nèi)容損失。和上面采用gram matrix不同。

total variation loss：目的是獲得較為平滑的輸出。

(2) Deep photo style transfer.

之前的風(fēng)格遷移論文都是建立在一張為攝影圖片，另一張為藝術(shù)作品。使得生成的圖片像畫出來的一樣，而這篇論文的內(nèi)容圖和風(fēng)格圖皆為攝影作品。

重點(diǎn)之一：loss function進(jìn)行了修改。

content loss：采用了feature matrix，同gatys的。

photorealism regularization: 基于顏色空間局部仿射變換的photorealism的正則約束。

augmented style loss with semantic segmentation: 基于語義分割的增廣內(nèi)容損失函數(shù)。將分割mask作為輸入圖像的增廣channel，一同輸入到神經(jīng)網(wǎng)絡(luò)中，從而確保只處理我們感興趣的內(nèi)容。