以下為個(gè)人學(xué)習(xí)TextRNN的學(xué)習(xí)歷程(僅作為本人學(xué)習(xí)使用,如有侵權(quán)請(qǐng)私信)

未學(xué)習(xí)前的知識(shí)儲(chǔ)備

• 傳統(tǒng)機(jī)器學(xué)習(xí)的算法；
• 使用過ML的算法進(jìn)行項(xiàng)目實(shí)戰(zhàn)；
• 對(duì)深度學(xué)習(xí)有一定的了解；
• 用tensorflow框架實(shí)現(xiàn)過深度學(xué)習(xí)的任務(wù)；

學(xué)習(xí)路程總結(jié)

1. 圖解RNN、RNN變體Seq2Seq、Attention機(jī)制
2. [譯] 理解 LSTM 網(wǎng)絡(luò)
   2.1. LSTM模型與前向反向傳播算法
3. 雙向 LSTM
4. TensorFlow中RNN實(shí)現(xiàn)的正確打開方式
5. 針對(duì)實(shí)現(xiàn)框架中的問題
   5.1. LSTM的units
6. TensorFlow的雙向lstm的幾種情況
7. 實(shí)戰(zhàn)代碼
   7.1. (理解篇)基于tensorflow+RNN的新浪新聞文本分類
   7.2. (真正使用)結(jié)構(gòu)化的TextRNN
   7.3. 知乎看山杯第一名總結(jié)
   7.4. 知乎看山杯第二名總結(jié)
   7.5. 知乎看山杯第六名總結(jié)

各篇文章的總結(jié)以及收獲

1.圖解RNN、RNN變體Seq2Seq、Attention機(jī)制

總結(jié):
文章的結(jié)構(gòu)非常清晰,并配有大量的圖片,再配上少許文字讓意思表達(dá)的更加清楚。有基礎(chǔ)的朋友基本上一遍看下來不會(huì)有很多的疑問,而基礎(chǔ)薄弱的朋友看完這篇也會(huì)有很大的收獲,文章中沒寫大量的公式,是用最通俗易懂的方式讓大家理解。

首先從單層的網(wǎng)絡(luò)談起-->經(jīng)典的RNN結(jié)構(gòu)（N vs N）--> N VS 1結(jié)構(gòu)--> 1 VS N結(jié)構(gòu) -->N vs M結(jié)構(gòu) --> Attention機(jī)制

主要講了N vs N，N vs 1、1 vs N、N vs M四種經(jīng)典的RNN模型，以及如何使用Attention結(jié)構(gòu)。

收獲:

RNN的參數(shù)是共享的,參數(shù)共享本質(zhì)上就是說明該模塊功能完全相同，在任何一個(gè)時(shí)間步上，細(xì)胞的功能是相同的

在Encoder-Decoder結(jié)構(gòu)中，Encoder把所有的輸入序列都編碼成一個(gè)統(tǒng)一的語(yǔ)義特征c再解碼，因此， c中必須包含原始序列中的所有信息，它的長(zhǎng)度就成了限制模型性能的瓶頸

Attention機(jī)制通過在每個(gè)時(shí)間輸入不同的c來解決這個(gè)問題,每一個(gè)c會(huì)自動(dòng)去選取與當(dāng)前所要輸出的y最合適的上下文信息
對(duì)RNN結(jié)構(gòu)有了很強(qiáng)的認(rèn)知,明白了RNN結(jié)構(gòu)的運(yùn)算機(jī)制,不同數(shù)據(jù)的輸入是什么

• 自然語(yǔ)言處理問題。x1可以看做是第一個(gè)單詞，x2可以看做是第二個(gè)單詞，依次類推。
• 語(yǔ)音處理。此時(shí)，x1、x2、x3……是每幀的聲音信號(hào)。
• 時(shí)間序列問題。例如每天的股票價(jià)格等等針對(duì)不同任務(wù)情況應(yīng)該使用的RNN網(wǎng)絡(luò)結(jié)構(gòu)

針對(duì)不同任務(wù)情況應(yīng)該使用的RNN網(wǎng)絡(luò)結(jié)構(gòu)(從RNN變體而來的算法)

• N vs N結(jié)構(gòu)，給一些列輸入得到相同系列輸出，計(jì)算視頻中每一幀的分類標(biāo)簽；輸入為字符，輸出為下一個(gè)字符的概率
  [站外圖片上傳中...(image-78420a-1543478503835)]
• N VS 1結(jié)構(gòu)，給一系列輸入得到一個(gè)輸出，輸入一段文字判別它所屬的類別；輸入一個(gè)句子判斷其情感傾向；輸入一段視頻并判斷它的類別
• 1 VS N結(jié)構(gòu)，給一個(gè)輸入得到一系列輸出，從圖像生成文字描述，此時(shí)輸入的X就是圖像的特征，而輸出的y序列就是一段句子；從類別生成語(yǔ)音或音樂等
• N vs M 結(jié)構(gòu)，給一些列輸入得到不同系列輸出
  機(jī)器翻譯：Encoder-Decoder的最經(jīng)典應(yīng)用，事實(shí)上這一結(jié)構(gòu)就是在機(jī)器翻譯 領(lǐng)域最先提出的
  文本摘要：輸入是一段文本序列，輸出是這段文本序列的摘要序列。
  閱讀理解：將輸入的文章和問題分別編碼，再對(duì)其進(jìn)行解碼得到問題的答案。
  語(yǔ)音識(shí)別：輸入是語(yǔ)音信號(hào)序列，輸出是文字序列。

2. [譯] 理解 LSTM 網(wǎng)絡(luò)

總結(jié):
x
收獲:
x

2.1LSTM模型與前向反向傳播算法

總結(jié):
x
收獲:
x

3. 雙向 LSTM

總結(jié):
文章質(zhì)量不高,有時(shí)間尋找新的
收獲:
x

4. TensorFlow中RNN實(shí)現(xiàn)的正確打開方式

總結(jié):
x
收獲:
x

5. 針對(duì)實(shí)現(xiàn)框架中的問題

LSTM的units

6. TensorFlow的雙向lstm的幾種情況

7.實(shí)戰(zhàn)代碼

(理解篇)基于tensorflow+RNN的新浪新聞文本分類
(真正使用)結(jié)構(gòu)化的TextRNN
知乎看山杯第一名總結(jié)
知乎看山杯第二名總結(jié)
知乎看山杯第六名總結(jié)