卷積(convolution)
卷積是通過(guò)Filter提取原圖像的特征,F(xiàn)ilter會(huì)隨著梯度下降提取出圖像的主要特征。如圖:

藍(lán)色為原圖,深藍(lán)色為Filter,綠色為提取后的特征
再看看下圖卷積是如何進(jìn)行運(yùn)算的:

輸入,F(xiàn)alter,輸出
細(xì)節(jié)過(guò)程:

卷積細(xì)節(jié)操作
卷積操作實(shí)質(zhì)上表示了一種多對(duì)一的關(guān)系,就如上圖所示通過(guò)一個(gè)Filter將input中的9個(gè)pixel與output中的一個(gè)pixel相對(duì)應(yīng)。
我們將上述過(guò)程用矩陣表示一下
Filter:

image.png
你可能在想這些藍(lán)色的0是怎么來(lái)的?看圖:

Filter
將上圖中的Filter進(jìn)行flatten就可以得到

Filter進(jìn)行flatten
我們將4次的3x3的Filter操作用一個(gè)4x16的矩陣表示:

Convolution Matrix
那么卷積的運(yùn)算就可以用矩陣表示為:

Convolution Matrix operation
將output reshape 成2x2的matrix

output
其結(jié)果和細(xì)節(jié)過(guò)程中的output是一樣的。接下來(lái)我們介紹反卷積。
反卷積(Transposed Convolution)
反卷積,輸入圖片的特征,輸出圖片,起到通過(guò)特征還原原圖的作用。如圖:

藍(lán)色為提取后的特征,陰影為Filter,綠色為原圖
有了上面的Convolution Matrix(4x16),我們對(duì)它進(jìn)行transpose得到Transposed Convolution Matrix(16x4)然后進(jìn)行如下操作:

Transposed Convolution Matrix operation
再將反卷積的output reshape成4x4的矩陣

output
神奇的事情發(fā)生了:通過(guò)Transposed Convolution Matrix 的矩陣乘法,我們將input的特征轉(zhuǎn)變成了與原圖類似結(jié)構(gòu)的圖像。這樣一來(lái)只要我們通過(guò)訓(xùn)練去調(diào)整Transposed Convolution Matrix中的weight,就可以通過(guò)特征盡可能的還原原圖。
反卷積操作實(shí)質(zhì)上表示了一種一對(duì)多的關(guān)系,就如上圖所示通過(guò)一個(gè)Filter將output中的1個(gè)pixel與input中的9個(gè)pixel相對(duì)應(yīng)。
小伙伴們?nèi)绻X(jué)得文章還行的請(qǐng)點(diǎn)個(gè)贊呦??!同時(shí)覺(jué)得文章哪里有問(wèn)題的可以評(píng)論一下 謝謝你!