3.朴素贝叶斯

1. 什么是朴素贝叶斯

朴素贝叶斯是基于贝叶斯定理与特征条件独立假设的分类方法，对于给定的训练集合，

• 先基于特征条件独立学习输入和输出的联合概率分布
• 然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y

这里面，
先验概率是根据以往经验和分析得到的概率。
后验概率是根据已经发生的事件来分析得到的概率。

朴素贝叶斯分类器的优点：

• 性能相当好，它速度快，可以避免维度灾难。
• 支持大规模数据的并行学习，且天然的支持增量学习。

2. 逻辑回归与朴素贝叶斯区别有以下几个方面：

（1）逻辑回归是判别模型， 朴素贝叶斯是生成模型，所以生成和判别的所有区别它们都有。

（2）朴素贝叶斯属于贝叶斯，逻辑回归是最大似然，两种概率哲学间的区别。

（3）朴素贝叶斯需要条件独立假设。

（4）逻辑回归需要求特征参数间是线性的。

3. 解释朴素贝叶斯算法里面的先验概率、似然估计和边际似然估计？

• 先验概率就是因变量在数据集中的比例。这是在你没有任何进一步的信息的时候，是对分类能做出的最接近的猜测。例如，在一个数据集中，因1（垃圾邮件）的比例为70％和0（非垃圾邮件）的为30％。因此，我们可以估算出任何新的电子邮件有70％的概率被归类为垃圾邮件。

• 似然估计是在其他一些变量的给定的情况下，一个观测值被分类为1的概率。例如，“FREE”这个词在以前的垃圾邮件使用的概率就是似然估计。- 边际似然估计就是，“FREE”这个词在任何消息中使用的概率。