朴素贝叶斯的思路及实现

一、朴素贝叶斯简介

朴素贝叶斯法（Naive Bayes）是基于贝叶斯定理与特征条件独立假设的分类方法，属于统计学分类方法。简单来说，朴素贝叶斯分类器假设在给定样本类别的条件下，样本的每个特征与其他特征均不相关，对于给定的输入，利用贝叶斯定理，求出后验概率最大的输出。朴素贝叶斯法实现简单，学习与预测的效率均较高，在文本分类领域有广泛的应用。

二、Naive Bayes在此项目中遇到的问题

首先是分词的问题。像朴素贝叶斯这种传统机器学习算法在进行情感分类时，更多的还是使用原生文本的分词而不是词向量。这种情况下，一个靠谱的中文分词器尤为重要，该项目最后选择的是结巴分词器。

主流的朴素贝叶斯都是二分型的，该项目的标签数为3，为了解决这个问题，项目组提出了两种方案，一种是以Majority Voting的规则利用多个朴素贝叶斯堆叠实现多分类，另一种则是目前采用的重写Naive Bayes的分类逻辑。

代码中Naive Bayes模块没有使用现有框架，均为手工搭建，详情请参见代码包。

三、核心代码

朴素贝叶斯的训练过程如下:

def train_bayes(featureFile, textFile, modelFile):

''' 训练朴素贝叶斯模型'''

print("Naive Bayes training...")docCounts, features = load_feature_words(featureFile)wordCount = collections.defaultdict(lambda: doc_dict())

# 每类文档特征词出现的次数

tCount = [0] * len(docCounts)

for line in textFile:

       lable, text = line.strip().split(' ', 1)

       index = lable2id(lable[0])

       words = text.split(' ')

       for word in words:

            if word in features:

                  tCount[index] += 1

                  wordCount[word][index] += 1

outModel = open(modelFile, 'w')

print("Export the model...")

for k, v in wordCount.items():

       # 拉普拉斯平滑

       scores = [(v[i] + 1) * 1.0 / (tCount[i] + len(wordCount)) for i in range(len(v))]                     outModel.write(k + "\t" + scores.__str__() + "\n")outModel.close()

预测部分的逻辑则为：

def predict(featureFile, modelFile, testText):

'''

    预测文档的类别，标准输入为每一行为一个文档

'''

docCounts, features = load_feature_words(featureFile)

docScores = [math.log(count * 1.0 / sum(docCounts)) for count in docCounts]

scores = load_model(modelFile)

rCount = 0

docCount = 0

print("Testing...")

for line in testText:

    lable, text = line.strip().split(' ', 1)

    index = lable2id(lable[0])

    words = text.split(' ')

    preValues = list(docScores)

    for word in words:

        if word in features:

            for i in range(len(preValues)):

                preValues[i] += math.log(scores[word][i])

    m = max(preValues)

    pIndex = preValues.index(m)

    if pIndex == index:

        rCount += 1

    # print lable,lables[pIndex],text

    docCount += 1

print("总数: %d , 正确预测数: %d, 准确度:%f" % (rCount, docCount, rCount * 1.0 / docCount))