[機器學習入門] 李宏毅機器學習筆記-34 (Recurrent Neural Network part 3;循環(huán)神經(jīng)網(wǎng)絡(luò) part 3)
| VIDEO |
|---|
上接part 2
RNN
Beyond Sequence
那么這種sequence to sequence 的方法還可以用于Syntactic parsing 句法分析上，得到樹樁結(jié)構(gòu)。
而它表達的方式就是通過括號來標記的，雖然感覺很復(fù)雜，但事實證明這種方法是work 的。
Sequence-to-sequence Auto-encoder - Text
用以下兩種方法，可把document變成一個vector。
Sequence-to-sequence Auto-encoder - Speech
還可以用在語音辨識上
把一段語音變成一個vector，可以看到，dogs和dog是比較接近的。
可以拿來做語音搜尋，不需要語音辨識到文字，就可以通過語音找到想找的內(nèi)容。
那么怎樣吧audio變成vector呢？最后一個時間點的值么就能表示這句話。
只有一個encoder是沒辦法訓練的，還需要又一個decoder，RNN encoder和decoder是一起訓練的，使x與y越接近越好。
下圖的結(jié)果還有一個有趣的事情，把fame的f換成n，與fear的f換成n，vector轉(zhuǎn)化的方向是一致的。
Sequence to Sequence Demo：
Attention-based Model
現(xiàn)在除了RNN外，還有一種方法也用到了memory，Attention-based Model，可以想做是RNN的進階版，像人的大腦有非常強的記憶里。
machine也可以有一個巨大的腦容量。
上面這個model還有一個2.0版本，Neural Turing Machine，不僅可以讀，還可以寫入。
這種方法常常被用于閱讀理解，Reading Comprehension，向machine提問。
Visual Question Answering，不僅可以做文字理解，圖像理解同樣work。
它的做法就是，給machine看一張圖，通過CNN可以把圖的每一小塊都用一個vector來表示。
Speech Question Answering，還可以用來解答語音問題。
用的model和剛剛的大同小異，讓machine先讀一下question，把question做語義分析，得到question的語義，聲音的部分，先用語音分析把它轉(zhuǎn)換成文字，再把這段文字作語義分析的到這段文字的語義，machine結(jié)合兩者解析出來的語義，Attention出哪些部分是與解決問題有關(guān)的，通過Attention，得到答案，而答案和Attention之間是可以來回調(diào)整的，通過與選項比較，最后選擇出答案。
Deep & Structured
RNN v.s. Structured Learning
Integrated together
input的feature先通過藍框，然后將籃框的output作為綠框的input，將兩者結(jié)合起來。
