利用Bert模型进行命名实体识别

之前两天也写了word2vec和Transformer，其实都是在为今天的内容做铺垫。最近正好使用bert做了命名实体识别项目，借这个契机分享出来，希望能帮到有需要的人。

自然语言的表示

之所以之前自然语言处理的发展没有达到CV领域，很大一部分原因是很难把抽象的语言用准确的数学方式表示。

• one-hot 只能说对词进行编码，毫无“相似度”的概念，例如【川老师】和【特朗普】的距离与【川老师】和【苍老师】的距离是一模一样的

• word2vec 将高维的one-hot“嵌入”到低维空间，使得向量更加稠密，这样做的好处是可以很方便的计算相似度，但是最大的缺点是无法解决一词多义的问题。

张三说的【川普】真可爱
【川普】在地球和太阳之间反复横跳

• ELMO
  ELMO是“Embedding from Language Models”的简称。从下图可以看到，ELMO是一个多层双向LSTM架构，但是双向并不是真正意义上的双向，而是两个单向的LSTM作为特征提取器。ELMO不仅学到了单词特征，还学习到了句法特征以及语义特征，这就能较好地解决单词在不同的上下文有不同的含义。

  
  image.png

• GPT
  GPT是“Generative Pre-Training”的简称。这个模型最大的特点是使用了多层单向Transformer的结构，Transformer的特征提取能力要远远的优于LSTM，且Transformer易于并行计算，能够很好地捕获长距离的信息。

  
  image.png

• BERT

  
  image.png

BERT的paper标题叫Pre-training of Deep Bidirectional Transformers for Language Understanding，人工发动self-attention,这个模型的重点在“Deep”,“Bidirectional”。没错！就是深层双向Transformer。这个模型真的是一个很大很重的模型，base版本的参数里有1.1亿，Large版本的有3.4亿（突然想起最近的GPT3的1700亿参数，可怕！！！）

image.png

其实这些模型都是为了能获得更好的语言表示，有了好的原材料，才能应用到下游的各项工作中发挥出好的效果。

简述BERT原理

BERT是一个两阶段模型，包括pre-training(预训练)和Fine-tuning(微调)。

预训练阶段BERT模型有两个任务

• Masked LM
  对15%的词挖坑做完形填空。这15%的词中有80%被替换为[mask],有10%被随机替换成其他单词，还有10%保持不变。
• Next Sentence Prediction (NSP)
  根据上文预测下文，其中有50%是正确的，另外50%从预料中随机找出来。这个任务为了更好的学习到句法

BERT模型在微调阶段也要按照BERT要求的形式进行输入，包括Token Embeddings，Segment Embeddings Position Embeddings

image.png

对于下游的任务，只需要按照论文中的方式进行改造即可。对于我项目中的命名实体识别属于文本分类任务，按照第四种方式进行改造即可。

image.png

项目背景

简单聊下我们的项目，通过爬虫将一批非结构化的房源文本数据抓取下来，然后将其解析成的结构化数据方便下游业务线使用。

image.png

项目实战总结

网上已经有很多教程了，我就不在代码层面写太多了，主要把开发流程中的经验梳理一下供大家参考

• 打标签
  对于NER任务任务来讲，需要对每个字进行BIO标注，不知道其他同学用的是什么工具，我很想安利一个工具叫doccano,安装贼麻烦，但是用起来真香。

• 总体流程
  开发自己的数据处理类，这个类要继承DataProcessor类，将训练集，验证集，测试集转换为example。example包含

  • guid
    数据的编号
  • tokens
    [cls]是文本的开头标识，[sep]是每句话的结尾
  • input_ids
    input_ids是字典中该字对应的index
  • input_mask
    1代表真实输入，0代表padding的内容
  • segment_id
    BERT允许输入两句话，第一句话用0表示，第二句话用1表示，由于NER任务只需要1句话，所以都是0.
  • label_id
    与input_ids类似，label的编码

将example转为feature然后存入到tf-record落地，后续训练和预测都是用tf-record作为输入

image.png

• OOM的解决

  • 减少max_seq_length
  • 减小train_batch_size
  • 使用合适的预训练模型，如果Large不行就换base

• 预测效率
  预测1条数据需要15秒左右的时间，批量预测6000条左右的数据大概在90秒左右。

参考

• [1] BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
• [2] 从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史-张俊林