编程环境：
Ubuntu16.4 uklin
Hadoop3.2.0
openjdk version "1.8.0_191"
win10 + python3.7
完整代码已经更新至GitHub,欢迎fork~GitHub链接
声明：创作不易，未经授权不得复制转载
statement:No reprinting without authorization
一、机器学习数据挖掘算法之朴素贝叶斯分类器原理介绍：
1.核心公式：
image.png
2.选取朴素贝叶斯的模型：
一般有三种模型可供选取：伯努利模型、多项式模型、混合模型，伯努利将重复词只视为出现一次，会丢失词频信息，多项式统计和判断时都关注重复次数，混合模型结合前两种在测试时不考虑词频，但在统计时考虑重复次数；
结合效果发现多项式会有更好表现，于是选择了多项式模型。
bayes_model
3.平滑技术的选择：
由于使用了多项式的模型，于是选择了更精确的平滑技术，计算的公式如下eg:
image.png
对应到本实验中即为：
P(“term”|class1)=（class1中“term”出现的总次数 + 1）/（class1中总词数+词表的总词数）
利用朴素贝叶斯的条件独立性假设：
image.png
得到如下公式推导：
image.png
由于本实验所选样本所选样本较少，只有两个类别：class1、class2
所以先验概率只有两个：
P(Vc1) = class1总文档数/（class1+class2总文档数）
P(Vc2) = class2总文档数/（class1+class2总文档数）
4.Tricks的应用：
使用取对数来代替很多个概率相乘，原本相乘的这些概率P(term1|ci)P(term2|ci)P(term3|ci)，他们的值大多都非常小，所以程序会下溢出或者结果被四舍五入后得到0，得到错误结果，使用对数可以完美解决。
而且取对数后因为P(term|ci)的值都在0-1之间，而在这区间内对数函数变化很快，能够突出反映不同单词的概率对总体判断的影响，抵消部分当大量词在统计样本类别中未出现的情况，经过实验发现可以相当程度上增加准确率，如下图：
（1）对对数进行加1，使每个P(term|ci)都大于1，处于对数比较平缓的一段：
image.png
（2）对对数进行不加1，使每个P(term|ci)都在0-1之间，处于对数变化较快的一段：
image.png
对比（1）和（2）通过实验发现处于对数变化较快时（不加1）的准确率有较大提升。
二、数据集介绍与划分：
数据集为新闻文档数据集，有若干个类别，每个类别有数百个文档，数据集链接：#20news-18828.tar.gz：http://qwone.com/~jason/20Newsgroups/20news-18828.tar.gz 20 Newsgroups; duplicates removed, only "From" and "Subject" headers (18828 documents)
本实验只选取其中两个类别进行测试——alt.atheism+comp.graphics按2:1进行划分，用来统计（训练）的样本占三分之二，测试样本三分之一。
类别名：（测试文档数/训练文档数）
alt.atheism：（260 / 539）
comp.graphics：（321 / 652）
image.png
image.png
文本示例：
image.png
三、hadoop分布式版本实现与测试：
1、首先将文档文件上传至hdfs中：
image.png
2、map-reduce设计：
第一对map-reduce程序，用于统计每个类别下所有的单词的词频，得到每个文档类的posting列表，过程如下：
首先将某一类别下所有的输入文档经过预处理后分词得到一个一个的单词，mapper设置每个单词为key,value为固定整数1，mapper输出<word1,1>、<word2,1>、<word3,1>...这样的键值对，经过reduce 归并后得到<word1,count1>、<word2,count2>、<word3,count3>...这样的输出。
文档->(预处理）-> mapper -> <word,1> -> <word,<1,1,1...>> -> reducer -> <word,countNum>
posting[word] = countNum(word)
第二对map-reduce程序根据第一对的输出文件，通过函数得到类别的总词数和词表单词数（num_c1 + nc1），将posting中的countNum转换为每个单词的对数(tricks中的公式)得分：
posting[word] = Math.log((wcount+1.0)/(num_c1 + nc1));
而后第二对map-reduce程序的输出文件就可以用来构建<string word,double score>的Hashmap,用于在测试文档时进行快速查找计算，对于每一个测试文档，将其转换为wSet = {w1,w2,w3,w4......}单词列表，分别计算该文档属于类别1和类别2的可能性（log得分），最后将其分配给得分高的类别，计算过程：
scoreC1 = scoreC2 = 0.0
对every w 属于 wSet:
如果类别1的hashmap中包含w:
scoreC1 += hmapC1.get(field);
否则
scoreC1 += Math.log(1.0/(num_c1 + nc1));
如果类别2的hashmap中包含w:
scoreC2 += hmapC2.get(field);
否则
scoreC2 += Math.log(1.0/(num_c2 + nc2));
#最后比较scoreC1和scoreC2的大小即可。
3、测试结果：
image.png
四、单机python版本实现与测试：
利用python对于文本处理的高效便捷，实现起来较为简单，可以利用字典结构保存posting列表信息等
测试结果如下：
image.png
可以发现hadoop分布式的结果完全一样。
网友评论