25 Muliti-lingual BERT
image.png
image.png
image.png
Multi-BERT最神奇的是訓(xùn)練一種模型上，用另一種語料去測試效果還可以
image.png
image.png
Google設(shè)計的一個benchmark設(shè)計模型跨語言的能力
image.png
為什么cross-lingual可以work?
mbert may be能夠?qū)W習(xí)到語義方面的東西
BERT +大量的語料可以做好不同語言的align
image.png
第一種方式是code switching,就是中英文混交著,比如看過DNA的構(gòu)造很想螺旋體，mbert可能就會任務(wù)DNA與螺旋體是等同的
image.png
這里只用兩種語言
image.png
<u>mbert顯然知道語言的資訊</u> ，mbert訓(xùn)練的目標(biāo)就是：吃的是en那個output的也是en
image.png
發(fā)覺一下mbert語言資訊原理
image.png
里面有個想法是求得平均的差值向量
image.png
這種就有點(diǎn)想GAN的訓(xùn)練方式
image.png
mbert確實存在語義部分
image.png
image.png
加上藍(lán)色的向量（MDS）得到的效果就好些。
