RNN

RNN機(jī)制

GRU(gated recurrent unit)
包含兩個(gè)門: 重置門和更新門
門的計(jì)算方式和RNN的隱含狀態(tài)計(jì)算公式是一樣的，都是由上一時(shí)刻的隱含狀態(tài)以及當(dāng)前時(shí)刻的輸入決定，激活函數(shù)采用sigmoid。
重置門reset gate:
更新門update gate:
引入候選隱含狀態(tài)
候選隱含狀態(tài)的計(jì)算和隱含狀態(tài)的區(qū)別在于在前一時(shí)刻的隱含狀態(tài)前面加了一個(gè)重置門的系數(shù)(按元素相乘)。如果為0，意味著把過(guò)去的信息丟棄掉。
最終隱含狀態(tài)由前一時(shí)刻的隱含狀態(tài)和候選隱含狀態(tài)決定，系數(shù)分別為更新門和(同樣為按元素相乘)：
如果為1，意味著，即拷貝上一時(shí)刻的隱含狀態(tài)，解決較長(zhǎng)期的依賴關(guān)系。
最終預(yù)測(cè)
重置門用于捕捉中短期的依賴關(guān)系；更新門用于捕捉中長(zhǎng)期的依賴關(guān)系。

LSTM(Long short-term memory)
包含三個(gè)門：input gate, forget gate, output gate
門的計(jì)算方式都是一致的，由當(dāng)前時(shí)刻的輸入和上一時(shí)刻的隱含變量決定。
input gate:
forget gate:
output gate:
引入記憶細(xì)胞和候選記憶細(xì)胞。
候選記憶細(xì)胞的計(jì)算和RNN的隱含狀態(tài)計(jì)算類似，激活函數(shù)為tanh:
記憶細(xì)胞由上一時(shí)刻的記憶細(xì)胞和候選記憶細(xì)胞決定，系數(shù)分別為forget gate何input gate：
如果為0把過(guò)去的信息拋棄，捕捉中短期的依賴關(guān)系，input gate則控制候選記憶細(xì)胞的輸入。
如果且，則，即記憶細(xì)胞對(duì)上一時(shí)刻的記憶細(xì)胞進(jìn)行拷貝，用于解決中長(zhǎng)期的依賴關(guān)系。
最終的隱含狀態(tài)由記憶細(xì)胞決定，output gate作為系數(shù)，對(duì)記憶細(xì)胞做一個(gè)tanh操作：，output gate用于控制學(xué)出來(lái)的記憶細(xì)胞輸入到隱含狀態(tài)的成分和比例。
最終的預(yù)測(cè)同理：