---

基础性研究

网络架构

Transformer→BERT→预训练语言模型

优化理论

Lookahead

对抗训练

虚拟对抗训练（virtual）

数据增强

例如同义词替换

半监督学习

域迁移

Meta Learning

Direct Policy Gradients - 结合Monte Carlo树搜索（穷举后随即选择）和Alpha zero（穷举后神经网络）两种方法。

Auto ML

RENAS - 遗传算法和增强学习的自动优化网络

多任务学习

类似域迁移，需要胜任多个任务。
ERNIE 2.0

集成学习

多模型集体智慧。

图网络

树形

知识图谱

探索阶段

多模态学习

例如：图形+文本输入、结构化+文本输入

机器推理

学习逻辑系统

---

专属NLP领域的研究

预训练语言模型

以通用语义为基础，减少训练数据量。
XLNet：BERT后最有价值的研究

文本分类

短文本（简单）、长文本、情感分析

序列标注

实体、分词

关系提取

依存分析（语法分析）

Semantic Parsing

将自然语言转化为另一种语言。
Clever Bi - 将语言转化为SQL语句。
语法解析和Lambda Calculus（逻辑推理）结合。

Seq2Seq

预训练语言模型的鼻祖。解决翻译问题。
Encoder ↔ Decoder
T5

文本生成

逻辑不通畅，往往需要结合模板。

文本推荐

例如：今日头条。
跟进人的兴趣漂移。

翻译

zero-shot：没有对应的关系，准确率低。
谷歌能搜集更大量的语料。

指代消解

---

交叉领域的研究

智能对话机器人

文本校对

文本检索

开源情报系统

Smart BI

---