ELMo全程为Embeddings from Language Models，顾名思义，它是基于语言模型的
为什么要提出ELMO？
有些单词具有一词多义的性质，而word2vec模型学出来的每个单词只有一个固定的词向量
ELMO比起之前词向量模型如word2vec的好处是能够动态地学出在上下文的词向量
模型结构
lstm语言模型正向过程，当前单词之和它之前的单词有关
最大化目标函数
预训练完成后，通过下列公式对每层表示做加权平均，当L为2时，s有3个参数（2层bilstm 和 第一层的x embedding），s根据下游任务调节学习得到
这个参数需要人为设置，根据不同任务设置不同的值（可调参）
参考资料：
Deep contextualized word representations(ELMo)阅读笔记 本文是对论文...
ELMo全程为Embeddings from Language Models，顾名思义，它是基于语言模型的 为什么...
[李宏毅-ELMO、BERT、GPT视频笔记link[https://www.jianshu.com/p/f4ed...
ELMo: Embeddings from Language Models ELMo用到上文提到的双向的langu...
ELMO 的全称是 Embedding from Language Models ELMo于今年二月由AllenN...
1.Deep contextualized word representations2.NAACL2018 一种新...
Deep contextualized word representations ELMo (Embeddings...
原文 Whoa! Whoa, whoa! Watch it, there, Elmo! No! Get down,...
1. 名词：ELMO：哈工大LTP 开发的动态词向量。 问题一：何为动态词向量： 普通的词向量，是静态的，也就是一...
1. 简称 论文《Deep contextualized word representations》简称ELMo，...
本文标题：ELMO笔记
本文链接：https://www.haomeiwen.com/subject/xqqrhhtx.html
网友评论