朴素贝叶斯算法

参考文章：

https://www.cnblogs.com/lliuye/p/9178090.html

4. 朴素贝叶斯算法过程

以参数估计为极大似然估计为例：

样本集为：

其中 yi,i=1,2,..,myi,i=1,2,..,m 表示样本类别，取值为 。

（1）计算先验概率：求出样本类别的个数  。对于每一个样本  ，计算出 。其为类别  在总样本集中的频率。

（2）计算条件概率：将样本集划分成 个子样本集，分别对属于  的子样本集进行计算，计算出其中特征  的概率：。其为该子集中特征取值为  的样本数与该子集样本数的比值。

（3）针对待预测样本  ，计算其对于每个类别  的后验概率： 。概率值最大的类别即为待预测样本的预测类别。

5. 朴素贝叶斯算法分析

优点：

    （1）朴素贝叶斯模型发源于古典数学理论，有稳定的分类效率。

    （2）对小规模的数据表现很好，能个处理多分类任务，适合增量式训练，尤其是数据量超出内存时，我们可以一批批的去增量训练。

    （3）对缺失数据不太敏感，算法也比较简单，常用于文本分类。

  缺点：

    （1）理论上，朴素贝叶斯模型与其他分类方法相比具有最小的误差率。但是实际上并非总是如此，这是因为朴素贝叶斯模型给定输出类别的情况下,假设属性之间相互独立，这个假设在实际应用中往往是不成立的，在属性个数比较多或者属性之间相关性较大时，分类效果不好。而在属性相关性较小时，朴素贝叶斯性能最为良好。对于这一点，有半朴素贝叶斯之类的算法通过考虑部分关联性适度改进。

    （2）需要知道先验概率，且先验概率很多时候取决于假设，假设的模型可以有很多种，因此在某些时候会由于假设的先验模型的原因导致预测效果不佳。

    （3）由于我们是通过先验和数据来决定后验的概率从而决定分类，所以分类决策存在一定的错误率。

    （4）对输入数据的表达形式很敏感。