Index

• Introduction
• Architecture
  • Image Transformation Network 圖像轉(zhuǎn)換網(wǎng)絡(luò)
    • Residual Connections 殘差連接
    • Down-sampling and Up-sampling
  • Loss Network 損失網(wǎng)絡(luò)

Introduction

本文基于CVPR2016中Fei Fei Li團(tuán)隊的<Perceptual Losses for Real-Time Style Transfer and Super-Resolution>一文。

在上一篇文章梵高眼中的世界（一）實(shí)時圖像風(fēng)格轉(zhuǎn)換簡介中，我們介紹了Gatys的算法，對單張白噪聲圖像進(jìn)行梯度下降。很明顯，假如我們想要做一個關(guān)于圖像藝術(shù)風(fēng)格轉(zhuǎn)換的app，我們不可能對每一張用戶上傳的圖像進(jìn)行訓(xùn)練。這不僅需要很長的時間，還需要很強(qiáng)的計算力。
我們希望做到實(shí)時風(fēng)格轉(zhuǎn)換，很明顯我們需要實(shí)現(xiàn)一個前饋的神經(jīng)網(wǎng)絡(luò)。也就是，對于每一張圖片，我們只需要將其通過該前饋神經(jīng)網(wǎng)絡(luò)，就可以直接得到轉(zhuǎn)換后的圖像。Fei Fei Li團(tuán)隊的算法做到了這一點(diǎn)。
他們的算法包含兩個網(wǎng)絡(luò)：Image Transfer Network圖像轉(zhuǎn)移網(wǎng)絡(luò)，和Loss Network損失網(wǎng)絡(luò)。其中Image Transfer Network即我們需要的前饋神經(jīng)網(wǎng)絡(luò)，而Loss Network只作用于訓(xùn)練過程。接下來我們將講解該網(wǎng)絡(luò)框架以及一些細(xì)節(jié)。

Architecture

System overview

由上圖我們能夠清晰地看到整個網(wǎng)絡(luò)框架。其中左邊虛框中的fw即Image Transfer Network，右邊虛框中的即Loss Network。輸入圖片通過fw網(wǎng)絡(luò)，得到y(tǒng)^{。通過訓(xùn)練后，y}即為我們希望得到的風(fēng)格轉(zhuǎn)換后的圖片。y_s為目標(biāo)風(fēng)格圖片，y_c為內(nèi)容圖片。再將y^, y_s, y_c輸入到訓(xùn)練好的VGG16網(wǎng)絡(luò)，得到特殊層數(shù)的值計算Loss，即可使用梯度下降進(jìn)行訓(xùn)練。

Image Transformation Network 圖像轉(zhuǎn)換網(wǎng)絡(luò)

在本文中，圖像風(fēng)格轉(zhuǎn)換網(wǎng)絡(luò)由卷積層以及轉(zhuǎn)置卷積層組成。網(wǎng)絡(luò)結(jié)構(gòu)如下：

1. 兩層卷積層, strides=[1,2,2,1]

• conv1: [9,9,3,32]
• conv2: [3,3,32,64]

2. 五層殘差連接層:殘差層全為filters為[3,3,64,64], strides=[1,1,1,1]的網(wǎng)絡(luò)。
3. 兩層轉(zhuǎn)置卷積層, strides=1,1/2,1/2,1

• convt1: [3,3,64,32]
• convt2: [3,3,32,3]

Residual Connections 殘差連接

殘差網(wǎng)絡(luò)Residual Network首次出現(xiàn)在ILSVRC大賽中。我們都知道，通常情況下來說越深的網(wǎng)絡(luò)的性能將會越好。在殘差網(wǎng)絡(luò)出現(xiàn)在ILSVRC前，Alex Net通過ReLu來加速網(wǎng)絡(luò)計算，并提出Dropout來防止過擬合，奠定了深度學(xué)習(xí)在機(jī)器視覺中的地位。其后的GoogleNet 和 VGG 其實(shí)只是通過加深網(wǎng)絡(luò)的深度以及復(fù)雜度以追求更優(yōu)的性能。然而，當(dāng)我們嘗試更深的網(wǎng)絡(luò)時，會出現(xiàn)兩個問題：

1. 隨著層數(shù)的增加, 會大大增加訓(xùn)練難度.
2. 出現(xiàn)梯度消失或梯度爆炸的問題.
   殘差網(wǎng)絡(luò)解決了以上兩個問題，在ILSVRC中，ResNet的層數(shù)比VGG19多八倍。

以下是Residual Network的結(jié)構(gòu)：

Residual Connection

上圖中，我們設(shè)隱含層為H(x). 我們知道一個復(fù)雜函數(shù)能夠通過多個非線性層組合近似, 因此我們可以令H(x)=F(x)+x. 即將非線性的輸出F(x)和線性輸入x相加作為總輸出. 這樣做的好處有:

1. 比起原來的H(x), F(x)+x更易訓(xùn)練, 大大降低了學(xué)習(xí)難度.
2. 沒有增加額外的參數(shù).

殘差網(wǎng)絡(luò)的tensorflow實(shí)現(xiàn)如下:

def res_block(x, shape, strides, padding='SAME', projection=True):
'''
    Args:
        x: Input Tensor with shape: [batch size, length, width, channels]
        shape: filter shape
        strides: Strides.
'''
    out = shape[-1]
    bs, w, l, c = x.get_shape().as_list()
    temp = conv_block(x, shape, strides, relu=False)
    if projection == True:
        x = conv_block(x, [1,1,c, out],strides, relu=False)
    else:
         x = tf.pad(x, [[0,0],[0,0],[0,0],[0,out-c]])
    return tf.nn.relu(x+temp)

其中conv_block是一個簡單的卷積block，只需要使用tf.nn.conv2d即可，注意要設(shè)置relu的屬性。

Down-sampling and Up-sampling

在這里我們使用一個轉(zhuǎn)置卷積網(wǎng)絡(luò)進(jìn)行up-sampling。
雖然輸入輸出圖片大小一致，先Down-sampling再Up-sampling還是有一定優(yōu)點(diǎn)：

1. 減少計算量。
2. 增加有效感知區(qū)域大小。

關(guān)于轉(zhuǎn)置卷積更直觀的理解可以看這個網(wǎng)站中的動圖。

轉(zhuǎn)置卷積在tensorflow可以使用tf.nn.conv2d_transpose(...)模塊，注意strides不需要寫成分?jǐn)?shù)形式。例如1/2的步長則可以寫作strides=[1,2,2,1]

Loss Network 損失網(wǎng)絡(luò)

Loss Network損失網(wǎng)絡(luò)只用于訓(xùn)練過程計算loss。在訓(xùn)練過程，我們只對Image Transfer Network 進(jìn)行訓(xùn)練，訓(xùn)練好的VGG網(wǎng)絡(luò)參數(shù)不改變。在訓(xùn)練結(jié)束后，我們只需要Image Transfer Network即可以完成圖像風(fēng)格轉(zhuǎn)換。
本文應(yīng)用遷移學(xué)習(xí)，使用了已訓(xùn)練好的VGG16來計算loss。之所以使用已訓(xùn)練好的網(wǎng)絡(luò)，是由于訓(xùn)練好的網(wǎng)絡(luò)中已包含提取高維特征的能力。例如在以下圖像風(fēng)格轉(zhuǎn)換實(shí)例中:

Examples

我們可以觀察到，人物和沙灘，貓臉和貓身體的轉(zhuǎn)換具有明顯區(qū)別。我們可以猜想訓(xùn)練好的Image Transfer Network具有深度提取人物以及貓臉的特征的能力，這種能力來源于我們使用的VGG網(wǎng)絡(luò)。
理解Loss Network為何使用已訓(xùn)練好的VGG后，Loss的具體計算如下：

Content Loss

Style Loss

其中Φj(y)代表輸入y時第j層VGG網(wǎng)絡(luò)的輸出。G為前一章所講解的Gram matrix。