1 BERT简介
BERT是2018年google 提出来的预训练的语言模型，并且它打破很多NLP领域的任务记录，其提出在nlp的领域具有重要意义。预训练的(pre-train)的语言模型通过无监督的学习掌握了很多自然语言的一些语法或者语义知识，之后在做下游的nlp任务时就会显得比较容易。
BERT模型采用的是12层或者24层的双向的Transformer的Encoder作为特征提取器。在nlp领域，特征提取能力方面的排序大致是Transformer>RNN>CNN。遮盖词的预测任务（mask word prediction）和下一个句子预测任务（next sentence prediction），这两个颇具难度的预训练任务，让模型在预训练阶段就对自然语言有了比较深入的学习和认知，而这些知识对下游的nlp任务有着巨大的帮助。当然，想要模型通过预训练掌握知识，我们需要花费大量的语料，大量的计算资源和大量的时间。但是训练一遍就可以一直使用，这种一劳永逸的工作，依然很值得去做一做。BERT在做下游的有监督nlp任务时就像一个做了充足预习的学生去上课，那效果肯定事半功倍。
之前的word2vec，glove等Word Embedding技术也是通过无监督的训练让模型预先掌握了一些基础的语言知识，但是Word Embedding技术无论从预训练的模型复杂度(可以理解成学习的能力)，以及无监督学习的任务难度都无法和BERT相比。
2 BERT的项目实战
BERT-BiLSMT-CRF-NER 使用谷歌的BERT模型在BLSTM-CRF模型上进行预训练用于中文命名实体识别的Tensorflow代码
扩展参考：ChineseNER(RNN)--Recurrent neural networks for Chinese named entity recognition in TensorFlow
bert-Chinese-classification-taskbert 中文分类实践
pytorch-pretrained-BERT Google官方推荐的PyTorch BERB版本实现，可加载Google预训练的模型
3 总结
BERT 就像图像领域的Imagenet，通过高难度的预训练任务，以及强网络模型去预先学习到领域相关的知识，然后去做下游任务。 想较于一些比较于直接使用Naive的模型去做深度学习任务，BERT就像班里赢在起跑线上的孩子，肯定比其他孩子要强出一大截。现在是不是感受到BERT的威力了，尝试用起来吧。
4 参考
张俊林博士的解读， 知乎专栏：从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史
网友评论