最近在做一个商品评论分类的需求，主要是将商品的差评根据主题进行多次二分类，例如评论的内容是不是质量问题，物流问题等。

由于对机器学习属于小白水平，所以先从最简单的朴素贝叶斯算法下手。

优点：易懂易实现，文本容易向量化    

缺点：分类效果一般

朴素贝叶斯算法是用统计学的方法来对数据进行二分类，其主要思想就是贝叶斯公式，这个公式大学本科就学过，所以它的原理很容易理解，

                      P(B|A)=P(A|B)P(B)/P(A)

即 事件A在事件B发生的前提下发生的概率=事件A在事件B发生的前提下发生的概率*事件B发生的概率/事件A发生的概率。

我们这里的事件主要是两类：

 1)这个评论是A分类的概率是多大，记做P(A)

 2)某个词Bi在A分类下出现的概率是多大，记做P(Bi|A)，其中i为某个词 

通过大数定律可知，当样本的数量足够大，某件事情发生的概率是收敛于这件事发生的期望的。所以当训练样本数量足够多时，我们就可以把某件事发生的概率近似作为期望。而上述两类事情的概率，都是可以通过训练集统计到的。然后对于一个新的文本，可以根据它的词向量来判断各种分类的概率，然后取最大概率的分类即可。

一.文本分词

使用python的结巴中文分词库对文本进行处理，由于评论主要是用户的主观感受，文本异常字符较多，所以这里需要对文本进行清洗，例如特殊字符，标点符号，停用词等；而对于某些领域，需要自己添加分词词典，方便提取有用的关键词（这里不考虑词频，所以分词的最终结果都做去重处理）。

训练集分词前：

训练集分词后：

二.构建分词向量

首先创建一个所有评论中不重复词的列表，然后向量化所有的评论，函数代码如下：

def setOfWords2Vec(vocabList,inputSet):

      returnVec=[0]*len(vocabList)

      for word in inputSet:

          if word in vocabList:

              returnVec[vocabList.index(word)]=1

          else:

              pass

              # print "the word:%s is not in myVocabulary!" % word

      return returnVec

其中 vocabList为所有训练集中不重复词的列表，可以选择集合作为它的数据类型，由于集合中每个元素都是唯一的，所以不需要考虑去重的问题。inputSet为评论分词后的结果，这样就将一个评论转化为一个向量，对于测试集或测试数据中的词如果在vocabList不存在则不予考虑。这个向量的维数就是vocabList的长度，如果某个词存在，则这个词的位数为1，否则为0.

选中20条评论作为训练数据，一共分出了129个词，生成的词向量组成的矩阵为20*129

三.训练  

根据上文的描述，假设 P(A)表示这个评论是A分类的概率是多大，P(Bi|A)表示在A分类的前提下词Bi出现的概率，则向量B在A分类下的概率为P(B|A)=P(b0,b1,b2...bn|A)，假设所有的词都互相独立，则上面的表达式也可写为P(b0|A)P(b1|A)P(b2|A)...P(bn|A)。根据训练数据，可以求出P(A)，P(bi|A)。

若要判断一个向量C是属于A1还是A2，则求出向量C是A1和A2分类的概率并比较大小，哪个类别的概率大，则将其归为哪个类。其中：

P(A1|C)=P(C|A1)*P(A1)/P(C)

P(A2|C)=P(C|A2)*P(A2)/P(C)

要比较P(A1|C)和P(A2|C)的大小，只需要比较P(C|A1)*P(A1)和P(C|A2)*P(A2)的大小即可。

#朴素贝叶斯分类器训练函数，trainCategory为分类数组，trainMatrix为所有的评论向量

def trainNB0(trainMatrix,trainCategory):

    numTrainDocs=len(trainMatrix)

    numWords=len(trainMatrix[0])

    #pAbusive表示为所有评论中出现，是该分类的概率

    pAbusive=sum(trainCategory)/float(numTrainDocs)

    p0Num=zeros(numWords);p1Num=zeros(numWords) #p0Num和p1Num为两个全0数组，长度为numWords,

    # 这两个向量用来统计P0分类中每个词的个数和P1中每个词的个数

    p0Denom=0.0;p1Denom=0.0#初始化

    #for循环扫描每一个评论生成的向量

    for i in range(numTrainDocs):

        # 如果向量判定为1，p1Num加上每个词的个数

        if trainCategory[i]==1:

            p1Num =p1Num+trainMatrix[i]

            #p1Denom是词向量中关键词的个数

            p1Denom =p1Denom+sum(trainMatrix[i])

        # 如果向量判定为0，p1Num加上每个词的个数

        else:

            p0Num =p0Num+ trainMatrix[i]

            p0Denom =p0Denom+ sum(trainMatrix[i])

    p1Vect=p1Num/p1Denom

    p0Vect=p0Num/p0Denom

    return p0Vect,p1Vect,pAbusive

p0Vect:P0分类下每个词的概率

p1Vect:P1分类下每个词的概率

pAbusive:P1分类的概率。

上面的算法有两个问题：

1）P(b0|A)P(b1|A)P(b2|A)...P(bn|A)，如果其中一个概率值为0，那么最后的乘积也为0，所以我们将所有词的出现次数初始化为1，将出现的总次数初始化为2

 p0Num=ones(numWords);p1Num=ones(numWords)

 p0Denom=2.0;p1Denom=2.0

2）P(b0|A)P(b1|A)P(b2|A)...P(bn|A)大部分因子都很小，所以结果很容易四舍五入得到0，为了降低这种影响，我们对其取对数则，虽然函数并不一样，但是对他们比较大小的结果并不影响，所以

 p1Vect=log(p1Num/p1Denom)

 p0Vect=log(p0Num/p0Denom)

四.分类

传入一个新的向量，判断它是那种分类，即比较P(A1|C)和P(A2|C)的大小

def classifyNB(vec2Classify,p0Vec,p1Vec,pClass1):

    p1=sum(vec2Classify*p1Vec)+log(pClass1)

    p0=sum(vec2Classify*p0Vec)+log(1-pClass1)

    if p1>p0:

        return 1

    else:

        return 0

其中vec2Classify为需要判定的向量，p0Vec表示每个词在分类0中的概率的对数向量，p1Vec表示每个词在分类1中的对数向量，pClass1为分类为1的概率，由于是二分类问题，可知pClass0=1-pClass1

由于p0Vec和p1Vec是概率的对数，所以对概率的乘积大小比较和对其对数求和的大小比较，结果是一致的。

五.测试正确率

将测试数据进行判定，将返回的结果值和人工判定值进行对比，如果结果一致则表示分类成功。

def testing(testVec,predictVec):

    vecLen=len(testVec)

    count=0.0

    for i in range(vecLen):

        if testVec[i]-predictVec[i]==0:

            count=count+1

    return count/vecLen

testVec表示人工判定的分类向量，predictVec表示算法判定的分类向量，即可算出正确率。

#分类效果不能令人满意，需要继续尝试其他方法。