今天記錄以下卷積和反卷積,在很久之前圖像處理時(shí)候我們就學(xué)過卷積,也知道卷積操作方式,更知道怎么推導(dǎo)和反向傳播~~但是今天我們要說得和之前理解的可能不太一樣......

1.卷積

首先我們看以下卷積的含義:

原作者.gif

卷積基礎(chǔ)這里不再進(jìn)行說明~~有基礎(chǔ)的秒懂

現(xiàn)在來點(diǎn)不一樣的:

原作者

以下是知乎大神給的翻譯版本,翻譯的很好~

參數(shù)定義如下:

1. 4x4的輸入，卷積Kernel為3x3, 沒有Padding / Stride, 則輸出為2x2。
2. 輸入矩陣可展開為16維向量，記作x輸出矩陣可展開為4維向量，記作y
3. 卷積運(yùn)算可表示為y = Cx

那么權(quán)重可以定義如下:

權(quán)重定義

我們現(xiàn)在換一種定義,把權(quán)重W定義為稀疏矩陣:

權(quán)重特殊定義

假設(shè)Input輸入為:

Input

對(duì)應(yīng)稀疏權(quán)重把Input轉(zhuǎn)化為:

input轉(zhuǎn)化

有木有發(fā)現(xiàn)結(jié)果一樣的?

結(jié)果

2.反卷積

其中上采樣有很多種叫法,反卷積/上采樣/轉(zhuǎn)置矩陣......在這里我們不去討論,接下來的推導(dǎo)你會(huì)發(fā)現(xiàn)叫什么合適~~

我們來想一個(gè)問題:

矩陣的正向傳播是直接卷積,那么反向傳播呢?

是不是得通過求偏導(dǎo)數(shù)求回去?

反向傳播

image

image

由以上的推導(dǎo)我們可以發(fā)現(xiàn),其實(shí)我們所說的反卷積就是反向的推導(dǎo)回去,現(xiàn)在可以暫時(shí)這么理解哈~~

反卷積的直觀解釋:

直觀解釋

手寫解釋

3.反卷積擴(kuò)展

以下是根據(jù)CS231的課程理解編寫的

第一種上采樣:

第一種擴(kuò)展

第二種上采樣:

第二種解釋

第三種上采樣:

第三種解釋

第四種上采樣:

1. 就是作者用的反卷積~~
2. 有木有發(fā)現(xiàn)上面三種都是固定的,不能夠訓(xùn)練?最后一種是可以訓(xùn)練權(quán)重的,但是作者沒有訓(xùn)練~~原因是訓(xùn)練的效果不好.

第四種解釋

4.參考資料

CS231課程

動(dòng)態(tài)圖

知乎大神解釋

博客園一個(gè)很好的解釋

一篇外文詳細(xì)的解釋了反卷積