自然语言处理的 2018
1. 迁移学习成功应用到NLP
迁移学习是将预训练模型应用到一个新的数据集，是计算机视觉领域爆炸式进步的一个关键，在2018年成功应用到了NLP
【1】ULMFiT
“通用语言模型的微调”的缩写
论文：Universal Language Model Fine-tuning for Text Classification
http://www.aclweb.org/anthology/P18-1031
作者是Fast.ai创始人Jeremy Howard和博士生Sebastian Ruder
在进行一项NLP任务时，不再需要从零开始训练模型，ULMFiT用少量数据微调一下，就可以在新任务上实现更好的性能。
【2】ELMo
ELMo (Embeddings from Language Models)，是一种开源的深度语境化词汇表示，改进了word2vec或GloVe这类上下文无关的嵌入。能体现一个词在语法语义用法上的特征，也能体现在不同语境下的变化。
论文：Deep contextualized word representations
https://arxiv.org/pdf/1802.05365.pdf
由艾伦人工智能研究所和华盛顿大学的研究人员于3月发表
这个深层语境化的单词表示模型，让模型的每个任务都有相当大的改进
还有 BERT，在下面介绍
2. 机器阅读理解
【3】BERT
BERT (Bidirectional Encoder Representations from Transformers)，是一个双向的、无监督的语言表示，在维基百科语料上进行了预训练。
10月13日，谷歌AI团队新发布的BERT模型，在机器阅读理解顶级水平测试SQuAD1.1中，两个衡量指标上全面超越人类，在11种不同NLP测试中创出最佳成绩
https://arxiv.org/pdf/1810.04805.pdf
还可以用于分类、语义相似度、语法、电影评论、语义等价、问答、实体识别
3. 常识推理
目前取得最先进水平的论文：
Dual PECCS: a cognitive system for conceptual representation and categorization
https://iris.unito.it/retrieve/handle/2318/1603656/240649/lieto16dual_final_draft.pdf
Antonio Lieto等人于2017年发布
4. 机器翻译
【5】Transformer+BR-CSGAN
improving neural machine translation with conditional sequence generative adversarial nets
https://arxiv.org/pdf/1703.04887.pdf
Zhen Yang等人于2018年4月在Arxiv上发布
5. 自然语言推断
【6】DIIN
natural language inference over interaction space
https://arxiv.org/pdf/1709.04348.pdf
Yichen Gong等人于2017年9月在Arxiv上发布
自然语言处理的 2019
KDnuggets的编辑Matthew Mayo预测：
2019年，研究注意力将从监督学习转向强化学习和半监督学习等领域
fast.ai 创始人，旧金山大学副教授Rachel Thomas预测：
正如Sebastian Ruder所写的那样，“NLP的ImageNet时代已经到来”
网友评论