美文网首页
encoding与embedding

encoding与embedding

作者: Leahlijuan | 来源:发表于2019-07-08 13:17 被阅读0次

encoding和embedding都是自然语言处理中将词语向量化的方法。

encoding

不考虑词之间的联系,每个词之间是独立的。
在这种方法中,没有考虑到同个词不同的语义。
常用的对类别标签进行encoding的one hot encode就是采用了这种方法。因为每个类别是一个数字,它们之间并没有内在联系。
同个词即是同个type。

embedding

将类似的词语聚类在一起,使得相似的词语之间的余弦值较小。
由于同一个词语在不同的语境下可能会有不同的含义,同个词可能根据语义不同会有不同的编码方式。这种方法使得同一个词(type)可以有不同的语义(token)。也就是说,同个type不代表同个token。


image.png

可以参考知乎上的文章Word Embedding--介绍

相关文章

  • encoding与embedding

    encoding和embedding都是自然语言处理中将词语向量化的方法。 encoding 不考虑词之间的联系,...

  • embedding的升级版:encoding

    为了将离散数据连续化,上篇文章提到embedding方法,就是说将每个离散值表示为一个向量v,这样向量之间就有距离...

  • 一文详解图表示学习

    Graph Embedding与Word Embedding一样,目的是用低维、稠密、实值的向量表示网络中的节点。...

  • one-hot encoding 与dummy encoding

    One-Hot编码和哑变量应该怎么用 考虑一个具有三个类别的离散型特征,采用One-Hot 编码后: 其中 因此有...

  • MF与embedding

    推荐系统常用的MF(矩阵分解)方法,旨在通过评分矩阵R有损分解得到矩阵U(代表所有用户的feature vecto...

  • NLP与embedding

    前记 基本上深度学习和nlp的几个阶段性成果大家都认为是NNLM、word2vec、bert word2vec N...

  • 【ML | Graph Data】Node embeddings

    Node embedding: Node embedding is a way of representing n...

  • 第四章 Embedding

    提问: Embedding的理解 Embedding的作用,重要性 1 Embedding基础知识 什么是Embe...

  • tensorflow学习-embedding_lookup()用

    embedding_lookup( )的用法关于tensorflow中embedding_lookup( )的用法...

  • URI Encoding

    What is URL Encoding URL Encoding 也被成为 percent encoding,U...

网友评论

      本文标题:encoding与embedding

      本文链接:https://www.haomeiwen.com/subject/gveohctx.html