基本結(jié)構(gòu)
結(jié)構(gòu)
基本結(jié)構(gòu)有兩部分組成：圖像轉(zhuǎn)換網(wǎng)絡(luò)（image transfer network）和損失網(wǎng)絡(luò)，損失網(wǎng)絡(luò)作為損失方程。圖像轉(zhuǎn)換網(wǎng)絡(luò)是一個(gè)深度殘差卷積網(wǎng)絡(luò)，將輸入圖像轉(zhuǎn)換成輸出圖像
，使用隨機(jī)梯度下降法來(lái)訓(xùn)練
為了克服像素?fù)p失的缺點(diǎn)，使損失方程能夠更好的度量感知和語(yǔ)義相關(guān)的信息。因此使用一個(gè)預(yù)訓(xùn)練好的分類網(wǎng)絡(luò)定義特征損失和風(fēng)格損失，作為損失函數(shù)。
圖像轉(zhuǎn)換網(wǎng)絡(luò)
圖像轉(zhuǎn)換網(wǎng)絡(luò)使用帶有步長(zhǎng)的卷積代替池化層進(jìn)行下采樣和上采樣[#參考#]，網(wǎng)絡(luò)的主體包括兩個(gè)步長(zhǎng)為2的卷積層（下采樣）、五個(gè)殘差塊、兩個(gè)步長(zhǎng)為1/2的卷積層（上采樣），不是殘差塊的層緊接著batch norm 和RELU，第一層和最后一層使用的卷積核，其他層使用
的卷積層。
輸入和輸出：
感知損失函數(shù)
特征（內(nèi)容）損失：使用VGG高級(jí)特征表示，使得內(nèi)容和全局結(jié)構(gòu)保留，但顏色和紋理形狀不復(fù)存在。
風(fēng)格損失：顏色、紋理和共同模式上的不同
將第j層的特征（）reshape成一個(gè)矩陣M（），則伽馬矩陣，使用伽馬矩陣作為損失函數(shù)。
先下采樣再上采樣的好處：
- 計(jì)算復(fù)雜性減少
- 有效的感受野大小，輸出中的每個(gè)像素都有輸入中的大面積有效的感受野。
損失函數(shù)
- 像素?fù)p失：輸出圖像與目標(biāo)圖像之間的歐式距離
- 總變差正則化：為了使空間更平滑，使用總變差正則損失
訓(xùn)練
80k的coco數(shù)據(jù)集resize到256，訓(xùn)練batch size為4， 一共40k次迭代，使用Adam學(xué)習(xí)率為0.001的學(xué)習(xí)器。
