参考https://blog.csdn.net/weixin_39059031/article/details/102654676

贝叶斯公式

该公式的本质旨在通过一个已知的结果，并结合一些经验性或统计性的信息来倒推出最可能产生该结果的原因，即所谓执果索因。我们获得的观测数据常常是多个来源的混合，而确定数据的真正来源——分类便是我们要做的工作。

贝叶斯公式

  设w1表示学渣组（类别1），w2表示学霸组（类别2），x=0表示卷面成绩不超过90事件，x=1表示卷面成绩90+事件，U表示试卷总份数。

 再设P(wi) 表示两组（类）的份数占比，那么P(w1)=0.5, P(w2)=0.5，即各占一半，此概率被称作先验概率。这个概率是通过统计得到的，或者依据自身依据经验给出的一个概率值。

 再假设通过以往所有的考试信息，得出w1组得分90+的概率为0.2，w2组得分90+的概率为0.8，即P(x=1|w1)=0.2, P(x=1|w2)=0.8，此概率常被称作类的条件概率。它反映两者最本质的区别——这里代表考90+的概率，是分类时最重要的依据。用P(x=1) 表示w1、w2两组得分90+的总概率，是一个全概率。

 最终求的是90+的卷子来自w1、w2两组（类别）的概率，即P(w1|x=1)、P(w2|x=1)，它也是一个条件概率，常被称作后验概率。根据观察到的样本修正之后的概率值。

贝叶斯决策

贝叶斯决策就是在贝叶斯公式计算出后验概率的基础上，进一步做归属的决定——分类。其主要包括两种决策方式，即最小错误贝叶斯决策，和最小风险贝叶斯决策。前者是在比较理想或者各类类别地位均等的情况下的决策，而后者则要考虑决策本身带来的代价和各类别地位的不均等。

最小错误贝叶斯决策

在所有可能出现的样本上类别决策错误的概率被称为错误率。

那么我们如何才能实现最小错误率？试想一下如果我们只知道这个细胞是正常的可能性有0.9，异常的可能性有0.1。那么我们会认为这是正常细胞，因为我们判断失误的概率只有0.1。相对于其他判断结果（认为这是异常细胞）。而相反，如果我我们判断异常细胞，判断失误的概率0.9。我们实现了最小错误率

如图所示，我们以一个简单的二分类进行。t做为决策点，t左边的点p(w1|x)>p(w2|x)，样本落在t左边就属于第一类，反之属于第二类。最小错误贝叶斯决策的结果就是，落在区域R1中的x都被归属到w1中了，包括其中混合的w2成分，落在区域R2中的x都被归属到w2中了，包括其中混合的w1成分。

所以对于落在区域R1中的每一个x，被判错的概率都是1-P(w1|x)=P(w2|x)，则w1的平均错误率就是P(w2|x)在x<t上的期望，它是图中斜纹区域的面积，如式（2）所示。

最小风险贝叶斯决策

最小错误率的贝叶斯决策可以找到正确率最高的分类结果，但实际问题中，不同类别分类错误的代价可能不同，例如将有毒蘑菇分类成无毒蘑菇的代价远远大于将无毒蘑菇分类成有毒蘑菇的代价。因此根据实际情况人为的引入分类错误风险，使得贝叶斯决策更加科学。

风险损失矩阵如图所示：

风险矩阵

   表示将实际为i的样本划分到j类别的风险系数，特别的当i等于j时，通常

将一个样本X将其划分到 w1类别的风险的计算表达式为：

将一个样本X将其划分到 w2类别的风险的计算表达式为：

判别依据：

g1(x)<g2(x)则X判定为w1

否则X判定为w2

特别地，当也就是判别错误的风险一样大，那么转变为最小错误率的贝叶斯决策。