循環(huán)神經(jīng)網(wǎng)絡(luò)

到目前為止我們默認(rèn)數(shù)據(jù)都來自于某種分布， 并且所有樣本都是獨(dú)立同分布的 （independently and identically distributed，i.i.d.）。 然而，大多數(shù)的數(shù)據(jù)并非如此。 例如，文章中的單詞是按順序?qū)懙?，如果順序被隨機(jī)地重排，就很難理解文章原始的意思。 同樣，視頻中的圖像幀、對(duì)話中的音頻信號(hào)以及網(wǎng)站上的瀏覽行為都是有順序的。 因此，針對(duì)此類數(shù)據(jù)而設(shè)計(jì)特定模型，可能效果會(huì)更好。

另一個(gè)問題來自這樣一個(gè)事實(shí)： 我們不僅僅可以接收一個(gè)序列作為輸入，而是還可能期望繼續(xù)猜測(cè)這個(gè)序列的后續(xù)。 例如，一個(gè)任務(wù)可以是繼續(xù)預(yù)測(cè)2、4、6、8、10...。 這在時(shí)間序列分析中是相當(dāng)常見的，可以用來預(yù)測(cè)股市的波動(dòng)、 患者的體溫曲線或者賽車所需的加速度。 同理，我們需要能夠處理這些數(shù)據(jù)的特定模型。

簡(jiǎn)言之，如果說卷積神經(jīng)網(wǎng)絡(luò)可以有效地處理空間信息， 那么本章的循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network，RNN）則可以更好地處理序列信息。 循環(huán)神經(jīng)網(wǎng)絡(luò)通過引入狀態(tài)變量存儲(chǔ)過去的信息和當(dāng)前的輸入，從而可以確定當(dāng)前的輸出。

許多使用循環(huán)網(wǎng)絡(luò)的例子都是基于文本數(shù)據(jù)的，因此我們將在本章中重點(diǎn)介紹語(yǔ)言模型。

• 在對(duì)序列數(shù)據(jù)進(jìn)行更詳細(xì)的回顧之后，我們將介紹文本預(yù)處理的實(shí)用技術(shù)。
• 然后，我們將討論語(yǔ)言模型的基本概念，并將此討論作為循環(huán)神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的靈感。
• 最后，我們描述了循環(huán)神經(jīng)網(wǎng)絡(luò)的梯度計(jì)算方法，以探討訓(xùn)練此類網(wǎng)絡(luò)時(shí)可能遇到的問題。

參見書中：https://zh-v2.d2l.ai/chapter_recurrent-neural-networks/index.html

循環(huán)神經(jīng)網(wǎng)絡(luò)RNN

1. 為什么需要RNN ？

傳統(tǒng)神經(jīng)網(wǎng)絡(luò)（如全連接網(wǎng)絡(luò)、CNN）假設(shè)輸入之間相互獨(dú)立，無(wú)法有效處理序列數(shù)據(jù)。而現(xiàn)實(shí)中有大量數(shù)據(jù)具有前后依賴性：
文本：當(dāng)前詞的含義依賴于前面的詞（如"我喜歡吃蘋果"中，"蘋果"的語(yǔ)義受"吃"的約束）
語(yǔ)音：當(dāng)前音符受之前音符的制約
時(shí)間序列：股票價(jià)格變化是歷史數(shù)據(jù)的延續(xù)

RNN通過循環(huán)結(jié)構(gòu)解決了這一問題，使網(wǎng)絡(luò)能夠記住歷史信息并應(yīng)用于當(dāng)前計(jì)算。

2. RNN的基本結(jié)構(gòu)與工作原理

3. 形象化理解RNN

可以將RNN想象為一個(gè)邊讀邊記的讀者：

• 讀第一個(gè)詞時(shí)，形成初步印象
• 讀第二個(gè)詞時(shí)，結(jié)合第一個(gè)詞的印象理解
• 讀第三個(gè)詞時(shí)，結(jié)合前兩個(gè)詞的累積印象...

每一步都更新自己的"理解狀態(tài)"
這種狀態(tài)傳遞機(jī)制使RNN能夠處理任意長(zhǎng)度的序列，而不需要為每個(gè)位置單獨(dú)設(shè)置參數(shù)。

具體過程可以參考B站up主飛天閃客的視頻進(jìn)行理解：
https://www.bilibili.com/video/BV1MNoRYEEVM/?spm_id_from=333.1387.favlist.content.click&vd_source=9db3d85249fb6717abc14d57c21797fd