贝叶斯推理
贝叶斯法则
朴素贝叶斯分类器
应用:文本分类
1. 贝叶斯推理
--提供了推理的一种概率手段
--两个基本假设:
(1)待考察的量遵循某概率分布
(2)可根据这些概率以及观察到的数据进行推理,以作作出最优的决策
--贝叶斯推理对机器学习十分重要:
为衡量多个假设的置信度提供了定量的方法
为直接操作概率的学习算法提供了基础
为其他算法的分析提供了理论框架
--机器学习的任务:在给定训练数据D时,确定假设空间H中的最佳假设
最佳假设: 在给定数据D以及H中不同假设的先验概率的有关知识下的最可能假设
--概率学习系统的一般框架
2. 贝叶斯法则
2.1 基本术语
D :训练数据;
H : 假设空间;
h : 假设;
P(h):假设h的先验概率(Prior Probability)
即没有训练数据前假设h拥有的初始概率
P(D):训练数据的先验概率
即在没有确定某一假设成立时D的概率
P(D|h):似然度,在假设h成立的情况下,观察到D的概率;
P(h|D):后验概率,给定训练数据D时h成立的概率;
2.2 贝叶斯定理(条件概率的应用)
公式后验概率正比于P(h)和P(D|h)
反比于P(D):D独立于h出现的概率越大,则D对h的支持度越小
2.3 相关概念
极大后验假设MAP:给定数据D和H中假设的先验概率,具有最大后验概率的假设h:
计算公式极大似然假设ML:当H中的假设具有相同的先验概率时,给定h,使P(D|h)最大的假设hml:
计算公式3. 贝叶斯分类器
4. 文本分类
算法描述:
网友评论