卷積網(wǎng)絡(luò)
這里討論通過卷積的方式表達(dá)CNN反向傳播
池化層
假設(shè)我們的池化區(qū)域大小是2x2，并且下一層的梯度為：
如果是MAX，假設(shè)我們之前在前向傳播時記錄的最大值位置分別是左上，右下，右上，左下，則還原后的梯度為：
如果是AVG，則上一層的梯度為：
卷積層
前向傳播
反向傳播
此處卷積的padding為"full"
簡單證明
可得
這上面9個式子其實可以用一個矩陣卷積的形式表示，即
卷積核/偏置
卷積核梯度
證明的方法與上面類似，偏置梯度為對每個通道的梯度求和
循環(huán)網(wǎng)絡(luò)
RNN
從時間軸的角度看（從左至右），如果循環(huán)次數(shù)特別多，意味著網(wǎng)絡(luò)太深，梯度難以傳回。LSTM通過改進(jìn)隱藏層結(jié)構(gòu)來解決這個問題。
LSTM
前向傳播
輸入門和輸入
遺忘門
細(xì)胞狀態(tài)
輸出和輸出門
標(biāo)簽預(yù)測
反向傳播
這里假設(shè)L是均方損失
為什么LSTM能解決梯度爆炸和消失的問題
https://www.zhihu.com/question/34878706
參考
劉建平的博客園
