現(xiàn)在結(jié)合這張圖大家可以回顧一下之前我們介紹如何通過線性變換來實(shí)現(xiàn)序列中各個(gè)時(shí)刻的注意力的分配。
多頭自注意力機(jī)制(Multi-head Self-attention)
接下來我們和之前一樣來做 self-attention，不同的地方是這一次只是對應(yīng)位置上來 self-attention。也就是 只和 做匹配，而不會(huì)和 做匹配圖中已經(jīng)很清楚看出他們是如何做匹配。然后通過同樣的流程計(jì)算中出
然后
做到多頭自注意力機(jī)制好處就是我們不同的頭(head)可以做不同事，有的頭會(huì)更多關(guān)注與其相鄰的輸入，有的頭可能會(huì)更多關(guān)注時(shí)間距離其較遠(yuǎn)的輸入。也就是更加靈活了。當(dāng)然這里只是給出了 2 頭的自注意力，你可以做的更多。
解決 self-attention 中丟失的位置信息
現(xiàn)在我們可能已經(jīng)大概了解自注意力是如何實(shí)現(xiàn)的，但是問題是現(xiàn)在我們每一個(gè)輸入間關(guān)注度是均等，這里可能丟失每一時(shí)刻的輸入的位置編碼信息，既然是序列我們就需要知道每一個(gè)輸入無論是在空間上還是時(shí)間上的位置編碼信息。
由于 transformer 模型中,沒有循環(huán)神經(jīng)網(wǎng)絡(luò)的迭代操作, 所以必須提供每個(gè)字的位置信息給 transformer, 才能識(shí)別出序列中的順序關(guān)系.
現(xiàn)在定義一個(gè)位置嵌入的概念, 也就是
在論文中使用 和 函數(shù)線性變換來提供模型位置信息。
位置編碼的方法是：構(gòu)造一個(gè)跟輸入embedding維度一樣的矩陣,使用正弦函數(shù)和余弦函數(shù)來構(gòu)造每個(gè)位置的值。
pos 表示詞，如果序列中有 10 詞 pos 就是 0 - 9 數(shù)字
-
image
表示詞向量的維度(列)
表示詞向量的位置，偶數(shù)位置用 而奇數(shù)采用
在李宏毅老師分享中，他是通過添加表示位置的熱獨(dú)編碼(one-hot) 來表示每一個(gè) 的位置信息。
然后我們 和 做合并后乘以 做 embedding。我們可以將 理解為 和 組合，他們分別對應(yīng)與 和 ，這樣的話，我們就可以將他們乘積分別對應(yīng)到表示輸入和表示位置 從而等同 paper 對于位置信息 的設(shè)計(jì)。
self-attention 在 Seq2Seq 中使用
我們已經(jīng)知道在 Seq2Seq 分別有兩個(gè) RNN 分別是編碼器(encoder)和解碼器(decoder)。
上面這張圖就是 transformer 架構(gòu)，既然之前已經(jīng)說過 transformer 就是使用 self-attention 的 Seq2Seq，那么他就應(yīng)該有編碼器和解碼器，在圖中左半部分就是編碼器(encoder)而右邊就是解碼器(decoder)。
