性天堂国产精品视频,国产精久久久久久Av,97精品人妻在线视频

在「拆 Transformer 系列一：Encoder-Decoder 模型架構(gòu)詳解」中有簡(jiǎn)單介紹 Attention，Self-Attention 以及 Multi-Head Attention，都只是在直觀上介紹 Attention 的作用，如何能夠像人的視覺(jué)注意力機(jī)制那樣，記住關(guān)鍵信息，并且也介紹了 Self-Attention 機(jī)制如何能通過(guò)對(duì)自身注意力加權(quán)來(lái)學(xué)習(xí)句子內(nèi)部結(jié)構(gòu)以及一些語(yǔ)法特征。

現(xiàn)在，我還要打算繼續(xù)詳細(xì)講解 Attention，主要講解 Transformer 中的 Multi-Head Attention 如何實(shí)現(xiàn)？通過(guò)圖解加說(shuō)明來(lái)講解。

Self-Attention

上一節(jié)我們講到，Self-Attention 的 Query=Key=Value，即 Q，K，V 三個(gè)矩陣都來(lái)自同一個(gè)輸入，而 Attention 計(jì)算過(guò)程如何呢？

image

Attention 機(jī)制實(shí)質(zhì)上就是一個(gè)尋址過(guò)程，通過(guò)給定一個(gè)任和務(wù)相關(guān)的查詢 Query 向量 Q，通過(guò)計(jì)算與 Key 的注意力分布并附加在 Value 上，從而計(jì)算 Attention Value，這個(gè)過(guò)程實(shí)際上是 Attention 緩解神經(jīng)網(wǎng)絡(luò)復(fù)雜度的體現(xiàn)，不需要將所有的 N 個(gè)輸入都輸入到神經(jīng)網(wǎng)絡(luò)進(jìn)行計(jì)算，而是選擇一些與任務(wù)相關(guān)的信息輸入神經(jīng)網(wǎng)絡(luò)，與 RNN 中的門控機(jī)制思想類似。

Attention 機(jī)制計(jì)算過(guò)程大致可以分成三步：

① 信息輸入：將 Q，K，V 輸入模型

用 $X=[x_1,x_2,...x_n]$ 表示輸入權(quán)重向量

② 計(jì)算注意力分布 α：通過(guò)計(jì)算 Q 和 K 進(jìn)行點(diǎn)積計(jì)算相關(guān)度，并通過(guò) softmax 計(jì)算分?jǐn)?shù)

另 $Q=K=V=X$ ，通過(guò) softmax 計(jì)算注意力權(quán)重， $α_i=softmax(s(k_i,q))=softmax(s(x_i, q))$

我們將 $α_i$ 稱之為注意力概率分布， $s(x_i, q)$ 為注意力打分機(jī)制，常見(jiàn)的有如下幾種：

加性模型： $s(x_i,q)=v^Ttanh(Wx_i+Uq)$

點(diǎn)積模型： $s(x_i,q)=x_i^Tq$

縮放點(diǎn)積模型： $s(x_i,q)={x_i^Tq}/\sqrt{d_k}$

雙線性模型： $s(x_i,q)=x_i^TWq$

③ 信息加權(quán)平均：注意力分布 $α_i$ 來(lái)解釋在上下文查詢 $q_i$ 時(shí)，第 $i$ 個(gè)信息受關(guān)注程度。

$att(q,X)=\sum_{i=1}^N{α_iX_i}$

上面講述了 Attention 的通用計(jì)算過(guò)程，也講述了注意力分?jǐn)?shù)計(jì)算的多種選擇，那么在 Transformer 中，采用哪種呢？答案就是：Scaled Dot-Product Attention

image

上圖所示就是 Scaled Dot-Product Attention 的簡(jiǎn)圖，可以看到輸入的 Q，K，V 都相同。

image

可以看到 Scaled Dot-Product Attention 有個(gè)縮放因子 $\sqrt{d_k}$ ，為什么要加這個(gè)縮放因子呢？

如果 $d_k$ 很小， additive attention 和 dot-product attention 相差不大。

但是如果 $d_k$ 很大，點(diǎn)乘的值很大，如果不做 scaling，結(jié)果就沒(méi)有 additive attention 好。

另外，點(diǎn)乘結(jié)果過(guò)大，使得經(jīng)過(guò) softmax 之后的梯度很小，不利于反向傳播，所以對(duì)結(jié)果進(jìn)行 scaling。

我們?cè)谏弦还?jié)中簡(jiǎn)單提到 Self-Attention 能夠捕獲長(zhǎng)距離依賴，并且能夠?qū)W習(xí)到句子內(nèi)部結(jié)構(gòu)及語(yǔ)法，那么 Self-Attention 的計(jì)算流程又是如何呢？

Step 1

首先給出信息輸入：用 $X=[x_1,x_2,...x_n]$ 表示 $N$ 個(gè)輸入信息，通過(guò)線性變換得到 Q，K，V 三個(gè)向量的初始表示：

$Q=W_qX$

$K=W_kX$

$V=W_vX$

image

Step 2

計(jì)算自注意力得分，假設(shè)我們正在計(jì)算下圖中的第一個(gè)單詞 “ Thinking” 的自注意力，則我們需要計(jì)算 “Thinking” 這個(gè)單詞對(duì)句子中每個(gè)單詞的評(píng)分。分?jǐn)?shù)決定了當(dāng)我們?cè)谀硞€(gè)位置對(duì)單詞進(jìn)行編碼時(shí)，要在輸入句子的其他部分上投入多少注意力。

通過(guò)將 Q 和各個(gè)單詞的關(guān)鍵字向量 K 進(jìn)行點(diǎn)積計(jì)算分?jǐn)?shù)，因此，如果我們正在處理位置 #1 上的單詞的自我注意，則第一個(gè)分?jǐn)?shù)將是 $q_1$ 和 $k_1$ 的點(diǎn)積。第二個(gè)分?jǐn)?shù)是 $q_1$ 和 $k_2$ 的點(diǎn)積。

$q_1.k_1=112,q_1.k2=96$

image

Step 3

對(duì) Step 2 中計(jì)算的分?jǐn)?shù)進(jìn)行 Scale，這里通過(guò)除以 8 ( 論文中 $d_k=64$ ，這可以讓模型有更穩(wěn)定的梯度，默認(rèn)值是 64，也可以是其它值 )，將結(jié)果進(jìn)行softmax 歸一化。

$z_1=q_1.k_1/\sqrt{d_k}=112/\sqrt{64}=112/8=14,z_2=q_1.k_2/\sqrt{d_k}=96/\sqrt{64}=96/8=12$

$softmax(z_1)=exp(z_1)/\sum_{i=1}^2(exp(z_i))=0.88,softmax(z_2)=exp(z_2)/\sum_{i=1}^2(exp(z_i))0.12$

image

Step 4

利用得分分別乘以 $v_1,v_2$ 后得到一個(gè)加權(quán)后的值，將這些值加起來(lái)得到 $z_1$ 。這就是這一層的輸出，仔細(xì)感受一下，用 $Q,K$ 去計(jì)算一個(gè) $thinking$ 對(duì) $thinking，machine$ 的權(quán)重，用權(quán)重乘以 $thinking,machine$ 的 $V$ 得到加權(quán)后的 $thinking,machine$ 的 $V$ ，最后求和得到針對(duì)各個(gè)單詞的輸出 $z$ 。

image

多頭注意力機(jī)制

image

論文中表明，將模型分為多個(gè)頭，形成多個(gè)子空間，可以讓模型去關(guān)注不同方面的信息。上圖中Multi-Head Attention 就是將 Scaled Dot-Product Attention 過(guò)程做 H 次，再把輸出合并起來(lái)。

多頭注意力機(jī)制的公式如下：

$Q_i=QW_i^Q,K_i=KW_i^K,V_i=VW_i^V,i=1,...,8$

$head_i=Attention(Q_i,K_i,V_i),i=1,...,8$

$MultiHead(Q,K,V)=Concact(head_1,...,head_8)W^O$

這里，我們假設(shè) $Q,K,V∈R^{512},W_i^Q,W_i^K,W_i^V∈R^{512\times64},W^O∈R^{512\times512},head_i∈R^{64}$

① 輸入句子 “tinking machine”

② 將句子進(jìn)行 Tokenize 轉(zhuǎn)換成 Word Embedding X

③ 將 X 切分成 8 份，并與權(quán)重 $W_i$ 相乘，構(gòu)成輸入向量 $W_iX$ ，形成 $Q_i,K_i,V_i,i=1,...,8$

④ 計(jì)算 Attention 權(quán)重矩陣， $z_i=softmax(Q_iK_i^T/\sqrt{d_k})V_i$ ，最后將每個(gè) $z_i$ 合并形成 $Z_i$

⑤ 最后將 8 個(gè)頭的結(jié)果 $Z_i,i=1,...8$ 合并 $Z^C=concact(Z_1,...Z_8),i=1,...,8$ ，點(diǎn)乘權(quán)重 $W_O$ ，形成 $Z=Z^CW_O$

如下面可以看到將 X 有很多的矩陣 $W_0^Q$ ，