今天介紹一個(gè)好玩的東西--圖像風(fēng)格遷移，來(lái)自2015年圖像風(fēng)格遷移開(kāi)山論文《A Neural Algorithm of Artistic Style》。
關(guān)于風(fēng)格遷移
繪畫(huà)領(lǐng)域大師們的作品通常都有很好的辨識(shí)性，相同的描繪對(duì)象在不同的大師筆下都有著不同的表達(dá)，并且人通過(guò)直覺(jué)就能夠感受到風(fēng)格的異同。這說(shuō)明雖然無(wú)法給出繪畫(huà)風(fēng)格的準(zhǔn)確定義，風(fēng)格也是一種可以辨識(shí)的信息。如果風(fēng)格是與內(nèi)容無(wú)關(guān)的，那么我們?nèi)绻芡ㄟ^(guò)一種方式，將某種風(fēng)格賦予一張圖片，將會(huì)是一件非常有趣的事情。本文介紹的一種基于神經(jīng)網(wǎng)絡(luò)的風(fēng)格遷移算法就是這個(gè)方向的一個(gè)嘗試。
內(nèi)容（content）與風(fēng)格（style）的分離
本文的核心思想就是圖片的內(nèi)容和風(fēng)格是可以分離的，我們可以通過(guò)神經(jīng)網(wǎng)絡(luò)的方式，將圖片的風(fēng)格進(jìn)行自由交換。
如果內(nèi)容和風(fēng)格是可以分離的，那么風(fēng)格的遷移即可轉(zhuǎn)化成這樣一個(gè)問(wèn)題：讓生成圖片的內(nèi)容與內(nèi)容來(lái)源圖片盡可能相似，讓圖片的風(fēng)格與風(fēng)格來(lái)源圖片盡可能相似。
內(nèi)容損失
在卷積網(wǎng)絡(luò)中，不同的層會(huì)形成對(duì)應(yīng)filter數(shù)量的feature map，在內(nèi)容這個(gè)維度上，我們希望生成圖片的每一個(gè)feature與內(nèi)容來(lái)源圖片盡可能接近，定義內(nèi)容損失：
其中，p為內(nèi)容來(lái)源圖片，x為生成圖片（最初輸入為白噪聲圖片），
F和P分別是兩張圖片在l層上i,j位置的特征值。
風(fēng)格損失
本位采用了的gram matrix（格拉姆矩陣）來(lái)表示圖像的風(fēng)格，gram matrix定義為：
gram矩陣可以看作體現(xiàn)了不同filter特征的相互關(guān)系，同時(shí)忽略了內(nèi)容上的信息。
定義l層的風(fēng)格損失為：
G和A代表了生成圖片和風(fēng)格提供圖片在不同層的格拉姆矩陣。
整體風(fēng)格損失為預(yù)設(shè)權(quán)值的每一層風(fēng)格損失加權(quán)：
其中，a代表風(fēng)格提供圖片，x代表生成圖片，w為每層所對(duì)應(yīng)的權(quán)值。
在定義好了兩個(gè)損失之后，給定內(nèi)容損失系數(shù)和風(fēng)格損失系數(shù)來(lái)定義總損失：
通過(guò)反向傳播調(diào)整x的值，最后的到我們需要的圖像。
作者在文章中的實(shí)驗(yàn)中，也給出了采用不同的層和權(quán)值比做參考時(shí)所得到的不同結(jié)果。
代碼施工中；）
