最近面试中经常被问到常用的词向量的表示方式，这里就整理一下常见的类型
1、词频做向量值
Bag-of-words model (BoW model)最早出现在自然语言处理（Natural Language Processing）和信息检索（Information Retrieval）领域.。该模型忽略掉文本的语法和语序等要素，将其仅仅看作是若干个词汇的集合，文档中每个单词的出现都是独立的。BoW使用一组无序的单词(words)来表达一段文字或一个文档.。近年来，BoW模型被广泛应用于计算机视觉中。
基于文本的BoW模型的一个简单例子如下：
假设有两个简单的文本：
John likes to watch movies. Mary likes too.
John also likes to watch football games.
基于上面的两个句子，我们可以构建如下的字典：
{"John": 1, "likes": 2,"to": 3, "watch": 4, "movies": 5,"also": 6, "football": 7, "games": 8,"Mary": 9, "too": 10}
上面的词典中包含10个单词, 每个单词有唯一的索引, 那么每个文本我们可以使用一个10维的向量来表示。如下：
[1, 2, 1, 1, 1, 0, 0, 0, 1, 1]
[1, 1,1, 1, 0, 1, 1, 1, 0, 0]
该向量与原来文本中单词出现的顺序没有关系，而是词典中每个单词在文本中出现的频率。
Distributed Representation是一个稠密、低维的实数限量，它的每一维表示词语的一个潜在特征，该特征捕获了有用的句法和语义特征。其特点是将词语的不同句法和语义特征分布到它的每一个维度上去表示。
2、词权重做向量值
词权重作为向量值，TFIDF等term weighting来当做词向量。会搭配着BOW模型使用，比如先定位了每句话出现的词，然后填上的不是频数，而是每个词的权重。
我们首先来介绍一下TFIDF的计算方法：
TF-IDF（Term Frequency–Inverse Document Frequency）是一种用于资讯检索与文本挖掘的常用加权技术。TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份 文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。TF-IDF加权的各种形式常被搜索 引擎应用，作为文件与用户查询之间相关程度的度量或评级。
TFIDF的主要思想是：如果某个词或短语在一篇文章中出现的频率TF高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力，适合用来分类。TF-IDF实际上是：TF * IDF。
词频（Term Frequency，TF）指的是某一个给定的词语在该文件中出现的频率。这个数字是对词数(term count)的归一化，以防止它偏向长的文件。（同一个词语在长文件里可能会比短文件有更高的词数，而不管该词语重要与否。）
逆向文件频率（Inverse Document Frequency，IDF）是一个词语普遍重要性的度量。某一特定词语的IDF，可以由总文件数目除以包含该词语之文件的数目，再将得到的商取对数得到。
某一特定文件内的高词语频率，以及该词语在整个文件集合中的低文件频率，可以产生出高权重的TF-IDF。因此，TF-IDF倾向于过滤掉常见的词语，保留重要的词语。
TF-IDF的计算公式如下：
3、word2vec词向量
有关word2vec表示词向量的方法，可以参考之前简书
4、神经概率语言模型
有关神经概率语言模型的知识，参考之前的简书：
http://www.jianshu.com/p/44139f1b46c5
5、主题模型中的topic-word向量
主题模型建立之后，会得到两个矩阵，一个是主题-词语向量矩阵；一个是文档-主题向量矩阵。其中的主题-词语矩阵，可以用来代表每个词。实际上，其是代表每个词在每个主题下的频率，但是作为潜在语义的判别也十分有效，业界会开发使用，来作为了解文档词语相关性的判别。
这个概率公式可以用矩阵表示：
其中”文档-词语”矩阵表示每个文档中每个单词的词频，即出现的概率；”主题-词语”矩阵表示每个主题中每个单词的出现概率；”文档-主题”矩阵表示每个文档中每个主题出现的概率。
网友评论