上周，有缘接触到word2vec，了解了它的强大，这篇文章就写写它吧！
实现word2vec的方式有很多，我所知道的就有手搓、使用tensorflow和gensim。本篇文章是以gensim实现，代码很简单。如果想看tensorflow实现的参考Vector Representations of Words。
想直接跑代码查看效果，可点击Word2VecDemo下载。
整篇文章分成四部分：
-
第一步：获得数据，建立语料库
-
第二步：分词
-
第三步：训练
-
第四步：查看效果
第一步：获得数据，建立语料库
本打算下载维基百科中文语料库来跑一下，但由于时间原因，还没试。当前，使用的是我从一个法律网站爬下来30万条数据。爬数据的框架，是使用scrapy。
第二步：分词
在之前，我一个同学盼哥跟我说过，他跑过tensorflow中word2vec的例子，需要注意的是英文不需要分词，而中文需要分词。当时没明白过来，但真正看到示例代码的时候，才知道真这样。
然后，我就在github中搜到了jieba，看到9k+ star，分词就用它了。
之后，就从数据库中取出数据，使用jieba分词，存储到./data文件夹中。
第三步：训练
gensim训练特别简单，就是读取./data文件下分好词的文本，然后将其使用空格分割，返回给models.gensim训练：
#coding: utf-8
#中文版处理的word2vec
from gensim import models
# 引入日志配置
import logging
logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO)
file_path = "./data/case.txt"
class MySentences(object):
def __init__(self, file_path):
self.file_path = file_path
def __iter__(self):
for line in open(file_path):
# split当只有一个的时候,返回单个字符串,多个则返回数组
words = line.split(" ")
result_word = []
for word in words:
if word and word != '\n':
result_word.append(word)
yield result_word
sentences = MySentences(file_path)
model = models.Word2Vec(sentences, workers=20, min_count=5, size=200)
# 保存模型
model.save("./cache/zh_word2vec")
需要注意的是：
1、models.Word2Vec中的参数：
-
sentences: 可以是个二维数组，例如：[['今天', '是', '星期天'], ['明天', '是', '星期一']]，但一般语料库都比较大，所以都是使用yield方式。
-
workers: 训练数据的线程数
-
min_count: 当某个词出现的平率少于这个数，就会被忽视
-
size: 存储向量的维度，维度越大存储的信息越多，越准确
2、保存训练好的模型到./cache/zh_word2vec
model.save("./cache/zh_word2vec")
后面查看效果的时候，会用到。
第四步，查看效果
代码实现流程很简单，就是使用models.Word2Vec.load加载训练好的模型，然后使用model模块下的API进行操作。
代码如下：
#coding: utf-8
#中文版处理的word2vec使用
from gensim import models
# 引入日志配置
import logging
logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO)
model = models.Word2Vec.load("./cache/zh_word2vec")
print '\n女人 + 丈夫 - 男人:'
result = model.most_similar(positive=['女人', '丈夫'], negative=['男人'], topn=1)
print result[0][0], result[0][1]
print '\n抢夺和抢劫相近程度:'
print model.similarity('抢夺', '抢劫')
print "\n抢劫的近义词"
result = model.most_similar(['抢劫'])
for value in result:
print value[0], value[1]
print '\n公司法的近义词:'
result = model.most_similar(['公司法'])
for value in result:
print value[0], value[1]
print '\n公司法和协议组成的近义词:'
result = model.most_similar(['公司法', '协议'])
for value in result:
print value[0], value[1]
print '\n委托书的近义词:'
result = model.most_similar(['委托书'])
for value in result:
print value[0], value[1]
print '\n投资的近义词:'
result = model.most_similar(['投资'])
for value in result:
print value[0], value[1]
print "\n找出投资、抢劫、强奸、盗窃中,哪个词不是一组的:"
result = model.doesnt_match(['投资', '抢劫', '强奸', '盗窃'])
print result
结果为：
女人 + 丈夫 - 男人:
妻子 0.638504564762
抢夺和抢劫相近程度:
0.80240327463
抢劫的近义词
抢夺 0.802403330803
盗窃 0.800097942352
作案 0.797169923782
抢劫犯罪 0.74809718132
敲诈勒索 0.745306968689
诈骗 0.706851243973
行窃 0.706330060959
强奸 0.685930252075
共谋 0.683236837387
飞车 0.653475642204
公司法的近义词:
继承法 0.759847998619
行政处罚法 0.738676190376
土地管理法 0.73749756813
票据法 0.735802054405
物权法 0.734579086304
产品质量法 0.702591955662
保险法 0.695441961288
著作权法 0.683708071709
消防法 0.682392597198
劳动法 0.670343637466
公司法和协议组成的近义词:
协议书 0.666539371014
消防法 0.601478874683
拍卖法 0.584682762623
合同 0.582781195641
继承法 0.573017239571
公司章程 0.572464048862
票据法 0.560360312462
补充协议 0.551261663437
物权法 0.549430251122
土地管理法 0.548958778381
委托书的近义词:
授权书 0.733257114887
书面材料 0.667756915092
声明书 0.649828374386
声明 0.635425388813
承诺函 0.623859405518
承诺书 0.614668488503
担保书 0.598217010498
确认函 0.597471117973
便条 0.589580059052
函件 0.586620807648
投资的近义词:
出资 0.632706165314
入股 0.615086615086
投入 0.525379896164
利润分配 0.503669142723
股票 0.50173163414
资金 0.495302915573
回报 0.493470430374
开发 0.492733627558
增资 0.49268245697
顾问 0.490810781717
找出投资、抢劫、强奸、盗窃中,哪个词不是一组的:
投资
可以看出来，整个模型已经有点效果出来了。若是，整个语料库再扩大十倍，应该会更准确很多。
总结
gensim实现的word2vec，使用特别简单，效果也很不错。不过，后期打算深入了解原理，然后使用tensorflow的方式进行训练，看效果能否更好。
本来，打算再写一篇doc2vec的，不过，因为至今未看到很大的效果，所以留待以后吧。
网友评论