贝叶斯推理
贝叶斯法则
朴素贝叶斯分类器
应用:文本分类
1. 贝叶斯推理
--提供了推理的一种概率手段
--两个基本假设:
(1)待考察的量遵循某概率分布
(2)可根据这些概率以及观察到的数据进行推理,以作作出最优的决策
--贝叶斯推理对机器学习十分重要:
为衡量多个假设的置信度提供了定量的方法
为直接操作概率的学习算法提供了基础
为其他算法的分析提供了理论框架
--机器学习的任务:在给定训练数据D时,确定假设空间H中的最佳假设
最佳假设: 在给定数据D以及H中不同假设的先验概率的有关知识下的最可能假设
--概率学习系统的一般框架
![](https://img.haomeiwen.com/i9637742/1fe393590a24e8b9.png)
2. 贝叶斯法则
2.1 基本术语
D :训练数据;
H : 假设空间;
h : 假设;
P(h):假设h的先验概率(Prior Probability)
即没有训练数据前假设h拥有的初始概率
P(D):训练数据的先验概率
即在没有确定某一假设成立时D的概率
P(D|h):似然度,在假设h成立的情况下,观察到D的概率;
P(h|D):后验概率,给定训练数据D时h成立的概率;
2.2 贝叶斯定理(条件概率的应用)
![](https://img.haomeiwen.com/i9637742/c0cf03448f2b654e.png)
后验概率正比于P(h)和P(D|h)
反比于P(D):D独立于h出现的概率越大,则D对h的支持度越小
2.3 相关概念
极大后验假设MAP:给定数据D和H中假设的先验概率,具有最大后验概率的假设h:
![](https://img.haomeiwen.com/i9637742/6aa11e00998d2480.png)
极大似然假设ML:当H中的假设具有相同的先验概率时,给定h,使P(D|h)最大的假设hml:
![](https://img.haomeiwen.com/i9637742/2047dbe7ad7460f1.png)
3. 贝叶斯分类器
![](https://img.haomeiwen.com/i9637742/e9cbf0d0202a6b43.png)
![](https://img.haomeiwen.com/i9637742/9f4e51a86da1e710.png)
![](https://img.haomeiwen.com/i9637742/a113486e66179714.png)
![](https://img.haomeiwen.com/i9637742/797f36e8c9d3261f.png)
4. 文本分类
算法描述:
![](https://img.haomeiwen.com/i9637742/82eebfbb82f16d17.png)
![](https://img.haomeiwen.com/i9637742/a2c9db3899bfaa8e.png)
网友评论