RNN的結(jié)構(gòu)

RNN的缺點(diǎn)

ref:https://blog.csdn.net/jizhidexiaoming/article/details/81743584

• 梯度消失

• 梯度爆炸

梯度消失：一句話，RNN梯度消失是因?yàn)榧せ詈瘮?shù)tanh函數(shù)的倒數(shù)在0到1之間，反向傳播時(shí)更新前面時(shí)刻的參數(shù)時(shí)，當(dāng)參數(shù)W初始化為小于1的數(shù)，則多個(gè)(tanh函數(shù)’ * W)相乘，將導(dǎo)致求得的偏導(dǎo)極?。ㄐ∮?的數(shù)連乘），從而導(dǎo)致梯度消失。

梯度爆炸：當(dāng)參數(shù)初始化為足夠大，使得tanh函數(shù)的倒數(shù)乘以W大于1，則將導(dǎo)致偏導(dǎo)極大（大于1的數(shù)連乘），從而導(dǎo)致梯度爆炸。

RNN的不同結(jié)構(gòu)

one to one：常常用在圖像分類，沒(méi)有循環(huán)結(jié)構(gòu)比較簡(jiǎn)單

one to many：常常用在圖片描述，輸入一張圖片輸出一堆文字

many to one：常常用在文本的情感分析，（yej：時(shí)序預(yù)測(cè)也可以）。
第四個(gè)和第五個(gè)有什么區(qū)別？
many to many：一般做機(jī)器翻譯，輸入和輸出不同（Seq2Seq）。

many to many：輸入和輸出的個(gè)數(shù)是一樣的，往往做視頻分類。

考慮上下文
精度更高，但是計(jì)算量更多。

LSTM

緩解RNN的梯度消失和梯度爆炸