ELMo: Embeddings from Language Models
ELMo用到上文提到的双向的language model, 给定N个tokens (t1, t2,...,tN), language model通过给定前面的k-1个位置的token序列计算第k个token的出现的概率:

后向的计算方法与前向相似:



ELMo: Embeddings from Language Models
ELMo用到上文提到的双向的language model, 给定N个tokens (t1, t2,...,tN), language model通过给定前面的k-1个位置的token序列计算第k个token的出现的概率:
后向的计算方法与前向相似:
本文标题:ELMo
本文链接:https://www.haomeiwen.com/subject/fpggsctx.html
网友评论