25 Muliti-lingual BERT
image.png
image.png
image.png
Multi-BERT最神奇的是训练一种模型上，用另一种语料去测试效果还可以
image.png
image.png
Google设计的一个benchmark设计模型跨语言的能力
image.png
为什么cross-lingual可以work?
mbert may be能够学习到语义方面的东西
BERT +大量的语料可以做好不同语言的align
image.png
第一种方式是code switching,就是中英文混交着,比如看过DNA的构造很想螺旋体，mbert可能就会任务DNA与螺旋体是等同的
image.png
这里只用两种语言
image.png
<u>mbert显然知道语言的资讯</u> ，mbert训练的目标就是：吃的是en那个output的也是en
image.png
发觉一下mbert语言资讯原理
image.png
里面有个想法是求得平均的差值向量
image.png
这种就有点想GAN的训练方式
image.png
mbert确实存在语义部分
image.png
image.png
加上蓝色的向量（MDS）得到的效果就好些。
网友评论