美文网首页
Towards reliable named entity re

Towards reliable named entity re

作者: 小小程序员一枚 | 来源:发表于2020-10-04 14:41 被阅读0次

今天上午看的这篇文章主要想解决的问题是BiLSTM-CRF在不同语料库上的泛化性能不好,因此提出了3种解决的方案以提高模型在不同语料库之间的泛化能力:
1.variational dropout
相比于原来只在词嵌入层加入dropout,现在将variational dropout加入到输入层、隐藏层和输出层
2.transfer learning

3.multi-task learning

最终的结论是:表现最好的模型是variational dropout+multi-task learning组合的模型

目前命名实体识别领域的一些新问题:

  • 标注数据规模和模型参数不匹配的问题
    随着模型精细化程度不断提高,所需要训练的参数越来越多,但带有标注的数据规模达不到要求
  • 文本中命名实体嵌套的问题
  • 中文的分词对实体识别的影响问题
  • 模型的并行化问题
  • 领域的敏感性问题

ELMo模型:


biLM

相关文章

网友评论

      本文标题:Towards reliable named entity re

      本文链接:https://www.haomeiwen.com/subject/hvsbuktx.html