Transformer 模型 （速度快）
使用了 Self-Attention 機(jī)制，不采用RNN順序結(jié)構(gòu)，使得模型可以并行化訓(xùn)練，而且能夠擁有全局信息。
Transformer是一個(gè)Sequence to Sequence model，特別之處在于它大量用到了self-attention。
self-attention可以代替RNN
image.png
self-attention： q、k、v、
x-->a(embedding)
q=w1a、k=w2a、 v=w3a
詳細(xì)過(guò)程請(qǐng)參考下面的鏈接
最后可以得到的矩陣乘法可以用GPU加速。
Multi-head Self-attention
做多個(gè)映射，產(chǎn)生多個(gè)a,然后concat
image.png
image.png
位置Embedding 用PE表示. 是為了加入input的順序。
image.png
