ELMo

作者: 数据智能谷 | 来源:发表于2019-10-20 07:36 被阅读0次

ELMo: Embeddings from Language Models

ELMo用到上文提到的双向的language model, 给定N个tokens (t1, t2,...,tN), language model通过给定前面的k-1个位置的token序列计算第k个token的出现的概率:

image.png

后向的计算方法与前向相似:


image.png image.png image.png

相关文章

网友评论

      本文标题:ELMo

      本文链接:https://www.haomeiwen.com/subject/fpggsctx.html