BERT不属于语言模型，因为是mask了一个词，通过上下文去预测中间的单词，所以叫DAE（denoising autoencoder，去噪声自编码器）
image.png
-
李文哲的观点：NLP工业领域60%是不用深度学习方法
-
ELMO就是学习上下文词向量
-
XLNET=结合ELMO和BERT优缺点去设计一个新的模型
BERT不属于语言模型，因为是mask了一个词，通过上下文去预测中间的单词，所以叫DAE（denoising autoencoder，去噪声自编码器）
image.png
李文哲的观点：NLP工业领域60%是不用深度学习方法
ELMO就是学习上下文词向量
XLNET=结合ELMO和BERT优缺点去设计一个新的模型
本文标题：问答部分：
本文链接：https://www.haomeiwen.com/subject/wxzofktx.html
网友评论