上学期读了有关word2vec的两篇paper之后，不是很明白，这学期重新花时间再读，并且根据这两篇paper进行一个词向量相关的实验，选来选去，发现网上有大神就wiki中英文语料库进行训练，鉴于渣渣水平，于是就选择了训练使用词向量来训练wiki中英文语料库。
整个过程参考：“我爱自然语言处理”：www.52nlp.cn
准备工作
为了训练语料库，当然需要去下载。英文wiki语料库（11.9G) 中文wiki语料库(1.2G)
然后就是准备好编译环境，语言选择的是python，使用了gensim的库，该库是由Radim Řehůřek博士基于google发布的C语言版本的word2vec编写的Python库。如何安装该库就不多说了。
处理流程
1、英文wiki�训练
首先需要将xml的文件转换成txt文件，主要通过process_wiki.py这个脚本来进行，在参考文考网页中提出了注意“wiki = WikiCorpus(inp, lemmatize=False, dictionary={})"将lemmatize设置为False避免使用Pattern来讲英文单词词干化处理，以免变得很慢，于是就华丽丽的接受。整个过程大概用了5个小时左右，共有差不多400W的articles。
执行命令为：python3 process_wiki.py enwiki-latest-pages-articles.xml.bz2 wiki.en.text
生成了wiki.en.text，生成的效果如下：
wiki.en.text效果图
接下来就是拿wiki.en.text的文本进行词向量的调用处理，通过train_word2vec_model.py的脚本对该文件进行处理。
执行的命令为：
python3 train_word2vec_model.py wiki.en.text wiki.en.text.model wiki.en.text.vector.
同样采取参考blog的方式，保存了vector方便debug。训练了大概8个小时左右，之后在ipython中对已经训练好的model进行调试，调试如下：
英文wiki结果图(一)
英文wiki结果图(二)
在这里调试的时候并没有遇到参考blog中说到得问题，这里具体原因是什么,还是需要讨论。但是可以看出效果其实不怎么好，以后有机会会使用word2vec的C版本进行试验。当然，这里可以使用model的其他函数进行调试，具体可以看gensim的文档进行查看。
2、中文wiki训练
同样地和英文一样，使用process_wiki.py 进行脚本处理，处理了10分钟，执行命令为：
python3 process_wiki.py zhwiki-latest-pages-articles.xml.bz2 wiki.cn.text
处理得到的效果如下：
wiki.cn.text效果图
咦，全是繁体字，那么由于某种原因，wiki中文版本都是繁体字的语料，而且可以看出有一些英文，还有一些其他字符，而且还需要对中文进行分词，这些都是需要处理的部分。那么我们一步一步的来。
1）繁体转简体
繁体转成简体，通过blog得知了一种叫opencc的工具:OpenCC（github地址）
由于是OS X的系统，参见安装说明，但是发现并没有安装brew，于是又去安装brew，兴致冲冲的点进homebrew安装，结果发现主页无法进去，无奈又开始寻找解决方法，百度之。百度排名第一的英文界面貌似可以解决。
百度brew效果图
然而点进去，依然无法找到网页，于是机智的我点了百度快照。
安装brew代码
接下来就是一路安装，完成OpenCC的安装后。
执行命令：opencc -i wiki.cn.text -o wiki.cn.text.jian -c t2s.json
2）分词
中文不像英文一样，天生自带空格，于是就有了中文分词，在python中中文分词做的比较好的库是jieba分词库jieba（github地址）
通过代码库的实例，于是写了分词脚本seperate_words.py.
执行命令：python3 separate_words.py wiki.cn.text.jian wiki.cn.text.jian.seq
得到了分好词的文件
3）去除多余的其他字符
最后通过python中自带的re库，使用正则表达式将其他字符去除，代码在remove_words.py
执行命令：python3 separate_words.py wiki.cn.text.jian.seq wiki.cn.text.jian.removed
之后就和英文分词一样，通过train_word2vec_model.py 进行处理
执行命令：python3 train_word2vec_model.py wiki.cn.text.jian.removed wiki.en.text.jian.model wiki.en.text.jian.vector.
最后测试一下运行的效果：
中文wiki结果图（一）
中文wiki结果图（二）
中文wiki效果图（三）
----
代码已经进行了review，在python3的情况下，存在bytes和str不兼容的问题已经解决了，另外将所有py文件全部放入一个文件中不同函数，在main()函数中也已经进行了各种处理的demo。由于gensim版本变化快，所以在载入model的时候可以参考最新gensim的api。
网友评论
EOFError: Compressed file ended before the end-of-stream marker was reached
读取到中间 出现这个错误 请问有人出现过吗
Traceback (most recent call last):
File "process_wiki.py", line 27, in <module>
output.write(space.join(text) + '\n')
TypeError: sequence item 0: expected str instance, bytes found
楼主你好，请问你运行process_wiki.py 遇到过这个问题吗
During handling of the above exception, another exception occurred:
Traceback (most recent call last):
File "C:/pythonWorkspace/Include/train_w2v_model.py", line 36, in <module>
train_w2v_model(s, '../data/w2v_model.bin', '../data/w2v_vector.bin')
File "C:/pythonWorkspace/Include/train_w2v_model.py", line 27, in train_w2v_model
model = Word2Vec(LineSentence(inp), sg=1, size=100, window=5, min_count=5, negative=3, sample=0.001, hs=1, workers=4)
File "C:\pythonWorkspace\venv1\lib\site-packages\gensim\models\word2vec.py", line 527, in __init__
fast_version=FAST_VERSION)
File "C:\pythonWorkspace\venv1\lib\site-packages\gensim\models\base_any2vec.py", line 335, in __init__
self.build_vocab(sentences, trim_rule=trim_rule)
File "C:\pythonWorkspace\venv1\lib\site-packages\gensim\models\base_any2vec.py", line 480, in build_vocab
sentences, progress_per=progress_per, trim_rule=trim_rule)
File "C:\pythonWorkspace\venv1\lib\site-packages\gensim\models\word2vec.py", line 1151, in scan_vocab
for sentence_no, sentence in enumerate(sentences):
File "C:\pythonWorkspace\venv1\lib\site-packages\gensim\models\word2vec.py", line 1073, in __iter__
line = utils.to_unicode(line).split()
File "C:\pythonWorkspace\venv1\lib\site-packages\gensim\utils.py", line 359, in any2unicode
return unicode(text, encoding, errors=errors)
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xc5 in position 0: invalid continuation byte
1）在去除多余的其他字符这块，执行命令时是用separate_words.py个吗？而不是用removed_words.py个吗？
2)如果用了removed_words.py这个文件的话，运行出来的全都是英文字段？