ELMo: Embeddings from Language Models
ELMo用到上文提到的双向的language model, 给定N个tokens (t1, t2,...,tN), language model通过给定前面的k-1个位置的token序列计算第k个token的出现的概率:
image.png
后向的计算方法与前向相似:
image.png
image.png
image.png
ELMo: Embeddings from Language Models
ELMo用到上文提到的双向的language model, 给定N个tokens (t1, t2,...,tN), language model通过给定前面的k-1个位置的token序列计算第k个token的出现的概率:
image.png
后向的计算方法与前向相似:
image.png
image.png
image.png
本文标题：ELMo
本文链接：https://www.haomeiwen.com/subject/fpggsctx.html
网友评论