全概率公式、贝叶斯公式

作者: 乔一波一 | 来源:发表于2023-08-22 10:43 被阅读0次

【数学】概率公式
从三个例子理解贝叶斯定理
概率与数理统计
2022-03-16
宗成庆自然语言理解笔记 02 数学基础
2-灯泡不合格率更新
概率基础
NLP体系导览
十九、贝叶斯公式
具体算法4 - 概率和朴素贝叶斯

条件概率定义：

设 $A$ 与 $B$ 是样本空间 $\Omega$ 中的两事件，若 $P(B)>0$ ,则称
$P(A|B)=\frac{P(AB)}{P(B)}\\$
为“在 $B$ 发生下 $A$ 的条件概率”，简称条件概率。

条件概率特有的三个公式：

乘法公式：
若 $P(B)>0$ ，则 $P(AB)=P(A)P(A|B).$
若 $P\left(A_1 \cdots A_{n-1}\right)>0$ ,则 $P\left(A_1 \cdots A_n\right)=P\left(A_1\right) P\left(A_2 \mid A_1\right) P\left(A_3 \mid A_2 A_1\right) \cdots P\left(A_n \mid A 1 \cdots A_{n-1}\right)$
全概率公式：
设 $B_1,B_2,\dots,B_n$ 为样本空间 $\Omega$ 的一个分割，即 $B_1,B_2,\dots,B_n$ 互不相容，且 $\bigcup_{i=1}^n B_i=\Omega$ ，如果 $P(B_i)>0,i=1,2,\dots,n$ ，则对任一事件 $A$ 有： $P(A)=\sum_{i=1}^n P\left(B_i\right) P\left(A \mid B_i\right)\\$
样本空间$\Omega$.png
全概率公式的意义：事件 $A$ 的发生有各种原因，所以 $A$ 发生的概率即为全部引起 $A$ 发生的概率的总和
贝叶斯公式：
在乘法公式和全概率公式的基础上即可得到著名的贝叶斯公式。设 $B_1,B_2,\dots,B_n$ 为样本空间 $\Omega$ 的一个分割，即 $B_1,B_2,\dots,B_n$ 互不相容，且 $\bigcup_{i=1}^n B_i=\Omega$ ，如果 $P(A)>0，P(B_i)>0，i=1,2,\dots,n,$ 则 $P\left(B_i \mid A\right)=\frac{P\left(B_i\right) P\left(A \mid B_i\right)}{\sum_{j=1}^n P\left(B_j\right) P\left(A \mid B_j\right)}, i=1,2, \cdots, n\\$

机器学习中的贝叶斯

其中 $X,y$ 对应于特征和所属类别，给定样本的特征，判断其所属类别，可以通过该公式转换为计算等式右边。
$P(y|X)=\frac{P(X|y)P(y)}{P(X)}\\$
机器学习中的朴素贝叶斯算法，则假设样本的特征之间相互独立，那么上式可以转换为：
$P(y|X)=\frac{P(x_1|y)P(x_2|y)...P(x_n|y)P(y)}{P(x_1)P(x_2)...P(x_n)}\\$
由于判断样本所属类别只需要比较属于不同类别概率的大小即可，而上式的分母只跟样本的特征相关而跟所属类别无关，所以实际应用中只需要计算分子的大小，即可判断出样本所属类别。

计算一下：

某个医院早上来了六个门诊的病人，他们的情况如下表所示：

image.png
现在又来了第七个病人，是一个打喷嚏的建筑工人。请问他患上感冒的概率有多大？
根据贝叶斯定理：

P(感冒|(打喷嚏，建筑工人))=\frac{P((打喷嚏，建筑工人)|感冒)*P(感冒)}{P((打喷嚏，打喷嚏))}\\

根据朴素贝叶斯条件独立性的假设可知，"打喷嚏"和"建筑工人"这两个特征是独立的，因此，上面的等式就变成了

P(感冒|(打喷嚏，建筑工人))=\frac{P(打喷嚏|感冒)*P(建筑工人|感冒)*P(感冒)}{P(打喷嚏)P(建筑工人)}\\

代入计算得到：

P(感冒|(打喷嚏，建筑工人))=\frac{0.66*0.33*0.5}{0.5*0.33}=0.66

实战：朴素贝叶斯之言论过滤器。

import numpy as np
from functools import reduce

# 构造样本
def loadDataSet():
    postingList = [
        ["my", "dog", "has", "flea", "problems", "help", "please"],  # 切分的词条
        ["maybe", "not", "take", "him", "to", "dog", "park", "stupid"],
        ["my", "dalmation", "is", "so", "cute", "I", "love", "him"],
        ["stop", "posting", "stupid", "worthless", "garbage"],
        ["mr", "licks", "ate", "my", "steak", "how", "to", "stop", "him"],
        ["quit", "buying", "worthless", "dog", "food", "stupid"],
    ]
    classVec = [0, 1, 0, 1, 0, 1]  # 类别标签向量，1代表侮辱性词汇，0代表不是
    return postingList, classVec

# 将样本转换为词条向量
def setOfWords2Vec(vocabList, inputSet):
    returnVec = [0] * len(vocabList)  # 创建一个其中所含元素都为0的向量
    for word in inputSet:  # 遍历每个词条
        if word in vocabList:  # 如果词条存在于词汇表中，则置1
            returnVec[vocabList.index(word)] = 1
        else:
            print("the word: %s is not in my Vocabulary!" % word)
    return returnVec

# 构造词典
def createVocabList(dataSet):
    vocabSet = set([])  # 创建一个空的不重复列表
    for document in dataSet:
        vocabSet = vocabSet | set(document)  # 取并集
    return list(vocabSet)


def trainNB0(trainMatrix, trainCategory):
    """
    贝叶斯条件概率公式：P(y|X)=P(X|y)P(y)/P(X),朴素假设特征之间相互独立
    待计算的是P(侮辱|stupid，dog，my，has,...) = （P(stupid，dog，my，has,...|侮辱)*P(侮辱文档数|总文档数)/P(stupid，dog，my，has,...)）
    统计了侮辱和非侮辱文档中各自词汇出现的条件概率。比如P(stupid|侮辱文档数)，P(dog|侮辱文档数)，P(my|非侮辱文档数)，P(has|非侮辱文档数)。
    以及先验概率P(侮辱文档数|总文档数)。
    """
    numTrainDocs = len(trainMatrix)  # 计算训练的文档数目
    numWords = len(trainMatrix[0])  # 计算每篇文档的词条数
    pAbusive = sum(trainCategory) / float(numTrainDocs)  # 文档属于侮辱类的概率
    p0Num = np.zeros(numWords)
    p1Num = np.zeros(numWords)  # 创建numpy.zeros数组,词条出现数初始化为0
    p0Denom = 0.0
    p1Denom = 0.0  # 分母初始化为0
    for i in range(numTrainDocs):
        if trainCategory[i] == 1:  # 统计属于侮辱类的条件概率所需的数据，即P(w0|1),P(w1|1),P(w2|1)···
            p1Num += trainMatrix[i]
            p1Denom += sum(trainMatrix[i])
        else:  # 统计属于非侮辱类的条件概率所需的数据，即P(w0|0),P(w1|0),P(w2|0)···
            p0Num += trainMatrix[i]
            p0Denom += sum(trainMatrix[i])
    p1Vect = p1Num / p1Denom
    p0Vect = p0Num / p0Denom
    return p0Vect, p1Vect, pAbusive  # 返回属于侮辱类的条件概率数组，属于非侮辱类的条件概率数组，文档属于侮辱类的概率


def classifyNB(vec2Classify, p0Vec, p1Vec, pClass1):
    """
    贝叶斯条件概率公式：P(y|X)=P(X|y)P(y)/P(X)。
    朴素贝叶斯假设特征之间相互独立，此时上述公式变为：P(y|X)=P(x1|y)P(x2|y)...P(xn|y)P(y)/P(x1)P(x2)...P(xn)。
    可以发现等式右边的分母P(x1)P(x2)...P(xn)只跟特征有关系，跟类别没有关系，也就是说比较不同类别之间的条件概率大小时，
    由于分母相等，直接比较分子之间的大小关系即可。所以下面的实际计算过程中也只计算了分子。
    """
    p1 = reduce(lambda x, y: x * y, vec2Classify * p1Vec) * pClass1  # 对应元素相乘
    p0 = reduce(lambda x, y: x * y, vec2Classify * p0Vec) * (1.0 - pClass1)
    print("p0:", p0)
    print("p1:", p1)
    if p1 > p0:
        return 1
    else:
        return 0


def testingNB():
    listOPosts, listClasses = loadDataSet()  # 创建实验样本
    myVocabList = createVocabList(listOPosts)  # 创建词汇表
    trainMat = []
    for postinDoc in listOPosts:
        trainMat.append(setOfWords2Vec(myVocabList, postinDoc))  # 将实验样本向量化
    p0V, p1V, pAb = trainNB0(np.array(trainMat), np.array(listClasses))  # 训练朴素贝叶斯分类器
    testEntry = ["love", "my", "dalmation"]  # 测试样本1
    thisDoc = np.array(setOfWords2Vec(myVocabList, testEntry))  # 测试样本向量化
    if classifyNB(thisDoc, p0V, p1V, pAb):
        print(testEntry, "属于侮辱类")  # 执行分类并打印分类结果
    else:
        print(testEntry, "属于非侮辱类")  # 执行分类并打印分类结果
    testEntry = ["stupid", "garbage"]  # 测试样本2

    thisDoc = np.array(setOfWords2Vec(myVocabList, testEntry))  # 测试样本向量化
    if classifyNB(thisDoc, p0V, p1V, pAb):
        print(testEntry, "属于侮辱类")  # 执行分类并打印分类结果
    else:
        print(testEntry, "属于非侮辱类")

if __name__ == "__main__":
    testingNB()