最近做畢設(shè)讀論文讀得心累，很多論文公式一堆提升逼格，很多想法也不具普適性，好像大家都在各玩各的。
前兩日看到知乎一個(gè)問題 如何評(píng)價(jià)深度學(xué)習(xí)文章平臺(tái)Distill？，好奇點(diǎn)進(jìn)一看究竟。啊真是通透易懂，平易近人。因?yàn)樽罱谘芯縍eservoir Comuting和ESN的東西，就著重看了一下RNN一塊，做個(gè)小筆記。
Recurrent Neural Networks
人類的認(rèn)知是連續(xù)的，認(rèn)知事物總有先前經(jīng)驗(yàn)，不會(huì)將所有事都重新思考。RNN是一種能讓信息暫存的神經(jīng)網(wǎng)絡(luò)，它有l(wèi)oops，loop能夠?qū)⑿畔⒉粩嗤乱粋€(gè)網(wǎng)絡(luò)狀態(tài)傳。
LSTM是一種特殊的RNN，表現(xiàn)突出。
The Problem of Long-Term Dependencies
比如說要預(yù)測(cè) “the clouds are in the ___”，這個(gè)填空很簡單肯定是sky，這是RNN能做的一件對(duì)過去信息需求量(通俗地說就是經(jīng)驗(yàn))比較小的事情。但是如果對(duì)過去信息需求量大的話，RNN表現(xiàn)不太好。但是LSTM就超棒der。
LSTM Networks
LSTMs are explicitly designed to avoid the long-term dependency problem.
標(biāo)準(zhǔn)RNN的循環(huán)模塊只有單層
LSTM的循環(huán)模塊有四個(gè)相互作用層
根據(jù)LSTM的模型圖，\sigma 是介于0~1之間，決定保留多少信息來保障cell的狀態(tài)，決定每個(gè)狀態(tài)下的輸出。
涉及到具體公式就不往下寫了。這是一篇為了讓爸媽看懂我在干啥的小筆記～
