• 序列問(wèn)題為什么不使用標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)？

1. 輸入和輸出在不同樣本的長(zhǎng)度不一定相等
2. 參數(shù)不共享，即無(wú)法共享學(xué)習(xí)到的特征（聯(lián)想到卷積核）

• 循環(huán)神經(jīng)網(wǎng)絡(luò)

1. 初始化激活值
2. 將第一個(gè)詞訓(xùn)練神經(jīng)網(wǎng)絡(luò)并生成新激活值與預(yù)測(cè)值
3. 以此類推對(duì)后序每一個(gè)詞執(zhí)行第 2 步的操作

• 循環(huán)神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)

1. 對(duì)每個(gè)單詞（維度相同）訓(xùn)練神經(jīng)網(wǎng)絡(luò)，避免了樣本輸入、輸出長(zhǎng)度不一致的困擾
2. 每一個(gè)時(shí)間步的參數(shù)共享，通過(guò)激活值建立序列前后的聯(lián)系

• 循環(huán)神經(jīng)網(wǎng)絡(luò)的缺點(diǎn)

1. 在某一時(shí)刻的預(yù)測(cè)僅使用了序列中之前的輸入信息（解決方案：雙向循環(huán)神經(jīng)網(wǎng)絡(luò)）

• 循環(huán)神經(jīng)網(wǎng)絡(luò)的前向傳播