BERT不属于语言模型,因为是mask了一个词,通过上下文去预测中间的单词,所以叫DAE(denoising autoencoder,去噪声自编码器)
image.png
-
李文哲的观点:NLP工业领域60%是不用深度学习方法
-
ELMO就是学习上下文词向量
-
XLNET=结合ELMO和BERT优缺点去设计一个新的模型
BERT不属于语言模型,因为是mask了一个词,通过上下文去预测中间的单词,所以叫DAE(denoising autoencoder,去噪声自编码器)
李文哲的观点:NLP工业领域60%是不用深度学习方法
ELMO就是学习上下文词向量
XLNET=结合ELMO和BERT优缺点去设计一个新的模型
本文标题:问答部分:
本文链接:https://www.haomeiwen.com/subject/wxzofktx.html
网友评论