RNN的bp

來源：https://zybuluo.com/hanbingtao/note/581764

RNN的權(quán)重向下層輸出的同時(shí)，會(huì)將權(quán)重返回到本層的輸入處，和下一次的輸入加和

RNN結(jié)構(gòu)

RNN只用了一個(gè)權(quán)重保存節(jié)點(diǎn)的狀態(tài)，LSTM用了兩個(gè)權(quán)重來保存，新加的狀態(tài)稱為單元狀態(tài)（cell stat）

C和H兩個(gè)狀態(tài)

對長程記憶和短程記憶的控制，可以參考LSTM單元來了解：

LSTM結(jié)構(gòu)

LSTM用三個(gè)門來控制數(shù)據(jù)的流動(dòng)：f,i,o，其中forget門控制C_{t-1}到C_t的量，input門控制h_{t-1}和x_t到C_t的量，output門控制C_{t}到h_t的量

GRU有兩個(gè)門，一個(gè)狀態(tài)：
輸入門、遺忘門、輸出門變?yōu)閮蓚€(gè)門：更新門（Update Gate）和重置門（Reset Gate）

GRU