今天的學(xué)習(xí)資料是這篇文章，寫(xiě)的非常詳細(xì)，有理論有代碼，本文是補(bǔ)充一些小細(xì)節(jié)，可以二者結(jié)合看效果更好：
https://zybuluo.com/hanbingtao/note/541458

在文末有關(guān)于 RNN 的文章匯總，之前寫(xiě)的大多是概覽式的模型結(jié)構(gòu)，公式，和一些應(yīng)用，今天主要放在訓(xùn)練算法的推導(dǎo)。

本文結(jié)構(gòu)：

1. 模型
2. 訓(xùn)練算法
3. 基于 RNN 的語(yǔ)言模型例子
4. 代碼實(shí)現(xiàn)

1. 模型

• 和全連接網(wǎng)絡(luò)的區(qū)別
• 更細(xì)致到向量級(jí)的連接圖
• 為什么循環(huán)神經(jīng)網(wǎng)絡(luò)可以往前看任意多個(gè)輸入值

循環(huán)神經(jīng)網(wǎng)絡(luò)種類繁多，今天只看最基本的循環(huán)神經(jīng)網(wǎng)絡(luò)，這個(gè)基礎(chǔ)攻克下來(lái)，理解拓展形式也不是問(wèn)題。

首先看它和全連接網(wǎng)絡(luò)的區(qū)別：

下圖是一個(gè)全連接網(wǎng)絡(luò)：
它的隱藏層的值只取決于輸入的 x

而 RNN 的隱藏層的值 s 不僅僅取決于當(dāng)前這次的輸入 x，還取決于上一次隱藏層的值 s：
這個(gè)過(guò)程畫(huà)成簡(jiǎn)圖是這個(gè)樣子：

其中，t 是時(shí)刻， x 是輸入層， s 是隱藏層， o 是輸出層，矩陣 W 就是隱藏層上一次的值作為這一次的輸入的權(quán)重。

上面的簡(jiǎn)圖還不能夠說(shuō)明細(xì)節(jié)，來(lái)看一下更細(xì)致到向量級(jí)的連接圖：

Elman network

Elman and Jordan networks are also known as "simple recurrent networks" (SRN).

其中各變量含義：

輸出層是一個(gè)全連接層，它的每個(gè)節(jié)點(diǎn)都和隱藏層的每個(gè)節(jié)點(diǎn)相連，
隱藏層是循環(huán)層。

圖來(lái)自wiki：https://en.wikipedia.org/wiki/Recurrent_neural_network#Gated_recurrent_unit

為什么循環(huán)神經(jīng)網(wǎng)絡(luò)可以往前看任意多個(gè)輸入值呢？

來(lái)看下面的公式，即 RNN 的輸出層 o 和 隱藏層 s 的計(jì)算方法：

如果反復(fù)把式 2 帶入到式 1，將得到：

這就是原因。

2. 訓(xùn)練算法

RNN 的訓(xùn)練算法為：BPTT

BPTT 的基本原理和 BP 算法是一樣的，同樣是三步：

• 1. 前向計(jì)算每個(gè)神經(jīng)元的輸出值；
• 2. 反向計(jì)算每個(gè)神經(jīng)元的誤差項(xiàng)值，它是誤差函數(shù)E對(duì)神經(jīng)元j的加權(quán)輸入的偏導(dǎo)數(shù)；
• 3. 計(jì)算每個(gè)權(quán)重的梯度。

最后再用隨機(jī)梯度下降算法更新權(quán)重。

BP 算法的詳細(xì)推導(dǎo)可以看這篇：
手寫(xiě)，純享版反向傳播算法公式推導(dǎo)
http://www.itdecent.cn/p/9e217cfd8a49

下面詳細(xì)解析各步驟：

1. 前向計(jì)算

計(jì)算隱藏層 S 以及它的矩陣形式：
注意下圖中，各變量的維度，標(biāo)在右下角了，
s 的上標(biāo)代表時(shí)刻，下標(biāo)代表這個(gè)向量的第幾個(gè)元素。

1

2. 誤差項(xiàng)的計(jì)算

BTPP 算法就是將第 l 層 t 時(shí)刻的誤差值沿兩個(gè)方向傳播：

• 一個(gè)方向是，傳遞到上一層網(wǎng)絡(luò)，這部分只和權(quán)重矩陣 U 有關(guān)；（就相當(dāng)于把全連接網(wǎng)絡(luò)旋轉(zhuǎn)90度來(lái)看）
• 另一個(gè)是方向是，沿時(shí)間線傳遞到初始時(shí)刻，這部分只和權(quán)重矩陣 W 有關(guān)。

如下圖所示：

所以，就是要求這兩個(gè)方向的誤差項(xiàng)的公式：

學(xué)習(xí)資料中式 3 就是將誤差項(xiàng)沿時(shí)間反向傳播的算法，求到了任意時(shí)刻k的誤差項(xiàng)

下面是具體的推導(dǎo)過(guò)程：
主要就是用了 鏈鎖反應(yīng) 和 Jacobian 矩陣

2

其中 s 和 net 的關(guān)系如下，有助于理解求導(dǎo)公式：

學(xué)習(xí)資料中式 4 就是將誤差項(xiàng)傳遞到上一層算法：

這一步和普通的全連接層的算法是完全一樣的，具體的推導(dǎo)過(guò)程如下：

3

其中 net 的 l 層 和 l－1 層的關(guān)系如下：

BPTT 算法的最后一步：計(jì)算每個(gè)權(quán)重的梯度
學(xué)習(xí)資料中式 6 就是計(jì)算循環(huán)層權(quán)重矩陣 W 的梯度的公式：

具體的推導(dǎo)過(guò)程如下：

4

和權(quán)重矩陣 W 的梯度計(jì)算方式一樣，可以得到誤差函數(shù)在 t 時(shí)刻對(duì)權(quán)重矩陣 U 的梯度：

3. 基于 RNN 的語(yǔ)言模型例子

我們要用 RNN 做這樣一件事情，每輸入一個(gè)詞，循環(huán)神經(jīng)網(wǎng)絡(luò)就輸出截止到目前為止，下一個(gè)最可能的詞，如下圖所示：

首先，要把詞表達(dá)為向量的形式：

• 建立一個(gè)包含所有詞的詞典，每個(gè)詞在詞典里面有一個(gè)唯一的編號(hào)。
• 任意一個(gè)詞都可以用一個(gè)N維的one-hot向量來(lái)表示。

這種向量化方法，我們就得到了一個(gè)高維、稀疏的向量，這之后需要使用一些降維方法，將高維的稀疏向量轉(zhuǎn)變?yōu)榈途S的稠密向量。

為了輸出 “最可能” 的詞，所以需要計(jì)算詞典中每個(gè)詞是當(dāng)前詞的下一個(gè)詞的概率，再選擇概率最大的那一個(gè)。

因此，神經(jīng)網(wǎng)絡(luò)的輸出向量也是一個(gè) N 維向量，向量中的每個(gè)元素對(duì)應(yīng)著詞典中相應(yīng)的詞是下一個(gè)詞的概率：

為了讓神經(jīng)網(wǎng)絡(luò)輸出概率，就要用到 softmax 層作為輸出層。

softmax函數(shù)的定義：
因?yàn)楹透怕实奶卣魇且粯拥?，所以可以把它們看做是概率?/p>

例：

計(jì)算過(guò)程為：

含義就是：
模型預(yù)測(cè)下一個(gè)詞是詞典中第一個(gè)詞的概率是 0.03，是詞典中第二個(gè)詞的概率是 0.09。

語(yǔ)言模型如何訓(xùn)練？

把語(yǔ)料轉(zhuǎn)換成語(yǔ)言模型的訓(xùn)練數(shù)據(jù)集，即對(duì)輸入 x 和標(biāo)簽 y 進(jìn)行向量化，y 也是一個(gè) one-hot 向量

接下來(lái)，對(duì)概率進(jìn)行建模，一般用交叉熵誤差函數(shù)作為優(yōu)化目標(biāo)。

交叉熵誤差函數(shù)，其定義如下：

用上面例子就是：

計(jì)算過(guò)程如下：

有了模型，優(yōu)化目標(biāo)，梯度表達(dá)式，就可以用梯度下降算法進(jìn)行訓(xùn)練了。

4. 代碼實(shí)現(xiàn)

RNN 的 Python 實(shí)現(xiàn)代碼可以在學(xué)習(xí)資料中找到。

關(guān)于神經(jīng)網(wǎng)絡(luò)，寫(xiě)過(guò)的文章匯總：

推薦閱讀 歷史技術(shù)博文鏈接匯總
也許可以找到你想要的