统计学习方法读书笔记——第四章 朴素贝叶斯法

朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。
对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。

4.1 朴素贝叶斯法的学习与分类

4.1.1 基本方法

朴素贝叶斯法对条件概率分布作了条件独立性的假设。这是一个较强的假设，朴素贝叶斯法也因此而得名。

朴素贝叶斯法分类时，对给定的输入x，通过学习到的模型计算后验概率分布，将后验概率最大的类作为x的类输出。后验概率计算根据贝叶斯定理进行：

将4.3式代入4.4式，有

于是，朴素贝叶斯分类器可表示为：

注意到在式4.6中分母对所有都是相同的，所以

4.1.2 后验概率最大化的含义

朴素贝叶斯法将实例分到后验概率最大的类中，这等价于期望风险最小化。假设选择0-1损失函数：

这时期望风险函数为：

期望是对联合分布取的，由此取条件期望：

为了使期望风险最小化，只需对逐个极小化，由此得到：

这样一来，根据期望风险最小化准则就得到了后验概率最大化准则：

朴素贝叶斯法的参数估计

4.2.1 极大似然估计

在朴素贝叶斯法中，学习意味着估计，可以应用极大似然估计法估计相应的概率。
先验概率的估计：

条件概率的估计：

4.2.2 学习与分类算法

下面给出朴素贝叶斯法的学习与分类算法：

4.2.3 贝叶斯估计

用极大似然估计可能出现所要估计的概率值为0的情况，这时会影响后验概率的计算，使分类产生偏差。
解决方法：贝叶斯估计。
条件概率的贝叶斯估计是：

式中，即等价于在随机变量各个取值的频数上赋予一个正数，当时就是极大似然估计。常取，这时称为拉普拉斯平滑。代表第j个特征可取的个数。
先验概率的贝叶斯估计是：

其中代表类别的个数。

本章概要