朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。
对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。
4.1 朴素贝叶斯法的学习与分类
4.1.1 基本方法
朴素贝叶斯法对条件概率分布作了条件独立性的假设。这是一个较强的假设，朴素贝叶斯法也因此而得名。
朴素贝叶斯法分类时，对给定的输入x，通过学习到的模型计算后验概率分布，将后验概率最大的类作为x的类输出。后验概率计算根据贝叶斯定理进行：
将4.3式代入4.4式，有
于是，朴素贝叶斯分类器可表示为：
注意到在式4.6中分母对所有
4.1.2 后验概率最大化的含义
朴素贝叶斯法将实例分到后验概率最大的类中，这等价于期望风险最小化。假设选择0-1损失函数：
这时期望风险函数为：
期望是对联合分布
为了使期望风险最小化，只需对
这样一来，根据期望风险最小化准则就得到了后验概率最大化准则：
朴素贝叶斯法的参数估计
4.2.1 极大似然估计
在朴素贝叶斯法中，学习意味着估计，可以应用极大似然估计法估计相应的概率。
先验概率的估计：
条件概率的估计：
4.2.2 学习与分类算法
下面给出朴素贝叶斯法的学习与分类算法：
4.2.3 贝叶斯估计
用极大似然估计可能出现所要估计的概率值为0的情况，这时会影响后验概率的计算，使分类产生偏差。
解决方法：贝叶斯估计。
条件概率的贝叶斯估计是：
式中
先验概率的贝叶斯估计是：
其中
本章概要
网友评论