机器学习之朴素贝叶斯（naive Bayes）算法

优缺点和适用范围

优点：

• 小量样本就可以训练好
• 可以处理多元集

缺点：

• 对数据过于敏感

适用范围：

• 非数值型数据

朴素贝叶斯概率模型

条件概率：

其中C为类别，为不同的特征，为在已知分别是什么的情况下C取某个值的概率
根据贝叶斯定理可知：

而




由于条件独立假设（即，认为 之间相互独立，互不干扰，或者可以解释为 当 时 ）：
因此易得
从而可知:

设

那么：

朴素贝叶斯分类器原理

总的分类类别有
首先我们使用第一个测试样本数据
计算, 更具体的：



....

从这些概率的值中挑选最大的那一个，对应的C的取值即为这个

比较好理解。
代码：

import numpy as np


def load_posts():
    """
    假装从邮件里加载了数据
    :return: 邮件里的数据， 相应文件的分类
    """
    posts = [['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],
             ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
             ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],
             ['stop', 'posting', 'stupid', 'worthless', 'garbage'],
             ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],
             ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]
    class_vec = [0, 1, 0, 1, 0, 1]
    return posts, class_vec


def create_corpus(posts):
    """
    创建语料库
    :param posts: 将加载的邮件中出现的所有词汇都加入到语料库中
    :return: 语料库
    :rtype: list
    """
    corpus = set([])
    for i in posts:
        corpus = corpus | set(i)
    return list(corpus)


def words_to_vec(corpus, words):
    """
    将词汇对应着语料库形成相应的向量
    :param corpus: 语料库
    :param words: 要"翻译" 的词汇
    :return: "翻译"后的向量
    """
    vec = [0] * len(corpus)
    for word in words:
        if word in corpus:
            vec[corpus.index(word)] = 1
        else:
            print("this word does not exist in corpus")
    return vec


def training(posts_matrix, class_matrix):
    """
    训练过程，实际上就是计算，P(C) P(F_1|C) P(F_2|C).. P(F_n|C)
    :param posts_matrix:
    :param class_matrix:
    :return:
    """
    length_of_posts = len(posts_matrix)
    length_of_words = len(posts_matrix[0])
    prob = sum(class_matrix)/float(length_of_posts)
    prob_class_0 = np.zeros(length_of_words)
    prob_class_1 = np.zeros(length_of_words)
    nums_class_0 = 0.0
    nums_class_1 = 0.0
    for i in range(0, length_of_posts):
        if class_matrix[i] == 1:
            prob_class_1 += posts_matrix[i]
            nums_class_1 += sum(posts_matrix[i])
        else:
            prob_class_0 += posts_matrix[i]
            nums_class_0 += (length_of_words - sum(posts_matrix[i]))
    prob_class_1 /= nums_class_1
    prob_class_0 /= nums_class_0
    return prob_class_0, prob_class_1, prob


def classify(prob_class_0, prob_class_1, prob, sample_vec):
    """
    进行分类，分别计算，已知特征的情况下 C 为0 或 1 的概率，比较，哪一个概率更大
    :param prob_class_0: P(F1|C=0) P(F2|C=0)... P(Fn|C=0)
    :param prob_class_1: P(F1|C=1) P(F2|C=1)... P(Fn|C=1)
    :param prob: P(C=1)
    :param sample_vec: 用于分类的样本
    :return: 分类结果
    """
    prob_0 = sum(prob_class_0 * sample_vec) + np.log(1.0 - prob)  # 挑出自己有的特征，进行乘法，取log
    prob_1 = sum(prob_class_1 * sample_vec) + np.log(prob)
    if prob_1 > prob_0:
        return 1
    else:
        return 0


posts, class_vec = load_posts()
corpus = create_corpus(posts)
posts_list = []
for i in posts:
    posts_list.append(words_to_vec(corpus, i))
prob_class_0, prob_class_1, prob = training(np.array(posts_list), np.array(class_vec))
sample = ['dog', 'my', 'stupid']
res = classify(prob_class_0, prob_class_1, prob, words_to_vec(corpus, sample))
print(res)

结果：

1