三个阶段
-
Word Embedding
- Word2Vec (2013)
- Glove(2014)
-
RNN改进和拓展
-
LSTM(1997)/GRU(2014)
-
GRU:它把遗忘门和输入门合并成一个更新门
-
-
Seq2Seq(2014)
-
Attention/Self-Attention(2014)
-
-
Contextual Word Embedding(上下文 Word Embedding)
提出背景:监督数据量不足,难以学到复杂的上下文表达
解决方案:使用无监督的Contextual Word Embedding- ELMo(2018)
- OpenAI GPT(2018)
- BERT(2018)
网友评论