美文网首页
一文看懂词嵌入word embedding(2种算法+其他文本表

一文看懂词嵌入word embedding(2种算法+其他文本表

作者: easyAI人工智能知识库 | 来源:发表于2020-02-18 12:59 被阅读0次
    一文看懂 word embedding

    文本表示(Representation)

    文本是一种非结构化的数据信息,是不可以直接被计算的。

    文本表示的作用就是将这些非结构化的信息转化为结构化的信息,这样就可以针对文本信息做计算,来完成我们日常所能见到的文本分类,情感判断等任务。

    文本表示将非结构化数据转化为结构化数据

    文本表示的方法有很多种,下面只介绍 3 类方式:

    1. 独热编码 | one-hot representation
    2. 整数编码
    3. 词嵌入 | word embedding
    word embedding的关系

    独热编码 | one-hot representation

    假如我们要计算的文本中一共出现了4个词:猫、狗、牛、羊。向量里每一个位置都代表一个词。所以用 one-hot 来表示就是:

    猫:[1,0,0,0]

    狗:[0,1,0,0]

    牛:[0,0,1,0]

    羊:[0,0,0,1]

    one-hot编码

    但是在实际情况中,文本中很可能出现成千上万个不同的词,这时候向量就会非常长。其中99%以上都是 0。

    one-hot 的缺点如下:

    1. 无法表达词语之间的关系
    2. 这种过于稀疏的向量,导致计算和存储的效率都不高

    整数编码

    这种方式也非常好理解,用一种数字来代表一个词,上面的例子则是:

    猫:1

    狗:2

    牛:3

    羊:4

    整数编码

    将句子里的每个词拼起来就是可以表示一句话的向量。

    整数编码的缺点如下:

    1. 无法表达词语之间的关系
    2. 对于模型解释而言,整数编码可能具有挑战性。

    什么是词嵌入 | word embedding?

    word embedding 是文本表示的一类方法。跟 one-hot 编码和整数编码的目的一样,不过他有更多的优点。

    词嵌入并不特指某个具体的算法,跟上面2种方式相比,这种方法有几个明显的优势:

    1. 他可以将文本通过一个低维向量来表达,不像 one-hot 那么长。
    2. 语意相似的词在向量空间上也会比较相近。
    3. 通用性很强,可以用在不同的任务中。

    再回顾上面的例子:

    word embedding:语意相似的词在向量空间上也会比较相近

    2 种主流的 word embedding 算法

    2 种主流的 word embedding 算法

    Word2vec

    这是一种基于统计方法来获得词向量的方法,他是 2013 年由谷歌的 Mikolov 提出了一套新的词嵌入方法。

    这种算法有2种训练模式:

    1. 通过上下文来预测当前词
    2. 通过当前词来预测上下文

    想要详细了解 Word2vec,可以看看这篇文章:《一文看懂 Word2vec(基本概念+2种训练模型+5个优缺点)

    GloVe

    GloVe 是对 Word2vec 方法的扩展,它将全局统计和 Word2vec 的基于上下文的学习结合了起来。

    想要了解 GloVe 的 三步实现方式、训练方法、和 w2c 的比较。可以看看这篇文章:《GloVe详解
    本文首发自 产品经理的 AI 学习库 easyai.tech

    相关文章

      网友评论

          本文标题:一文看懂词嵌入word embedding(2种算法+其他文本表

          本文链接:https://www.haomeiwen.com/subject/umrgfhtx.html