25 Muliti-lingual BERT

image.png image.png image.png

Multi-BERT最神奇的是训练一种模型上，用另一种语料去测试效果还可以

image.png image.png

Google设计的一个benchmark设计模型跨语言的能力

image.png

为什么cross-lingual可以work?

mbert may be能够学习到语义方面的东西

BERT +大量的语料可以做好不同语言的align

image.png

第一种方式是code switching,就是中英文混交着,比如看过DNA的构造很想螺旋体，mbert可能就会任务DNA与螺旋体是等同的

image.png

这里只用两种语言

image.png

<u>mbert显然知道语言的资讯</u> ，mbert训练的目标就是：吃的是en那个output的也是en

image.png

发觉一下mbert语言资讯原理

image.png

里面有个想法是求得平均的差值向量

image.png

这种就有点想GAN的训练方式

image.png

mbert确实存在语义部分

image.png image.png

加上蓝色的向量（MDS）得到的效果就好些。