《统计学习方法》极简笔记P4：朴素贝叶斯公式推导

作者: 统计学家 | 来源:发表于2019-08-17 17:12 被阅读0次

统计学习方法笔记(第四章个人笔记)
《统计学习方法》极简笔记P4：朴素贝叶斯公式推导
Naive-Bayes(朴素贝叶斯）
Machine Learning (4)
朴素贝叶斯法(1) 之基础概念
朴素贝叶斯算法
算法笔记（7）-朴素贝叶斯算法及Python代码实现
朴素贝叶斯算法介绍及优化
朴素贝叶斯
朴素贝叶斯的公式推导

朴素贝叶斯基本方法

通过训练数据集 $T=\{(x_1,y_1),(x_2,y_2),(x_N,y_N)...,(x_1,y_1)\}$ 学习联合概率分布P(X,Y)，即学习先验概率分布 $P(Y=c_k),$
条件概率分布 $P(X=x|Y=c_k)$
$k=1,2,...,K$
假设条件独立
$P(X=x|Y=c_k)=\prod_{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)$
然后根据学习到的模型计算后验概率分布，根据贝叶斯定理
$P(Y=c_k|X=x)=\frac{P(X=x|Y=c_k)P(Y=c_k)}{\sum_{k}P(X=x|Y=c_k)P(Y=c_k)}$
条件概率带入，得
$P(Y=c_k|X=x)=\frac{P(Y=c_k)\prod_{j}P(X_i^{(j)}=x^{(j)}|Y=c_k)}{\sum_{k}P(Y=c_k)\prod_{j}P(X_i^{(j)}=x^{(j)}|Y=c_k)}$
于是，朴素贝叶斯分类器可表示为
$y=argmax\frac{P(Y=c_k)\prod_{j}P(X_i^{(j)}=x^{(j)}|Y=c_k)}{\sum_{k}P(Y=c_k)\prod_{j}P(X_i^{(j)}=x^{(j)}|Y=c_k)}$
又，分母对所有 $c_k$ 都相同，so
$y=argmaxP(Y=c_k)\prod_{j}P(X^{(j)}=x^{(j)}|Y=c_k)$
假设采用0-1损失函数，期望风险函数为
$R_{exp}(f)=E[L(Y,f(X))]$
同样的，条件期望
$R_{exp}(f)=E_X\sum_{k=1}^{K}[L(c_k,f(X))]P(c_k|X)$
期望风险最小,只需对X=x逐个极小化
$f(x)=argmin\sum_{k=1}^{K}[L(c_k,y)]P(c_k|X)\\=argmin\sum_{k=1}^{K}P(y\neq{c_k}|X=x)\\=argmin\sum_{k=1}^{K}(1-P(y={c_k}|X=x))\\=argmaxP(y=c_k|X=x)$
这即为朴素贝叶斯采用的原理

朴素贝叶斯算法

输入：
训练数据 $T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}$
$x_i=(x_i^{(1)},x_i^{(2)},...,x_i^{(l)})$ , $x_i^{(l)}$ 为第i个样本的第j个特征， $a_{jl}$ 是第j个特征可能取得第 $l$ 个值，j=1,2,...,n, $l=1,2,...,S_j$ , $y_i\in\{c_1,c_2,...,c_K\}$
输出：实例 $x$ 的分类
(1)计算先验概率及条件概率,此处取极大似然估计
$P(Y=c_k)=\frac{\sum^{N}_{i=1}I(y_i=c_k)}{N}$

$P(X^{(j)}|Y=c_k)=\frac{\sum^{N}_{i=1}I(x_i^{(j)}|y_i=c_k)}{\sum_{i=1}^{N}I(y_i=c_k)}$
(2)对于给定的实例， $x=(x^{(1)},x^{(2)},...,x^{(n)})^T$ ，计算
$P（Y=c_k）=\prod_{j=1}^nP(X^{(j)}=x^{(j)}|Y=c_k)$
(3)确定实例 $x$ 的类
$y=arg maxP(Y=c_k)\prod_{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)$

贝叶斯估计

极大似然估计存在的问题是会出现概率为0的情况，解决之道是贝叶斯估计
$P(Y=c_k)=\frac{\sum^{N}_{i=1}I(y_i=c_k)+\lambda}{N+K\lambda}$

$P(X^{(j)}|Y=c_k)=\frac{\sum^{N}_{i=1}I(x_i^{(j)}|y_i=c_k)+\lambda}{\sum_{i=1}^{N}I(y_i=c_k)+S_j\lambda}$

统计学习方法笔记(第四章个人笔记)
统计学习方法笔记(第四章个人笔记) 标签：统计学习方法朴素贝叶斯法描述：朴素贝叶斯法是基于贝叶斯定理与特征条...
《统计学习方法》极简笔记P4：朴素贝叶斯公式推导
朴素贝叶斯基本方法通过训练数据集学习联合概率分布P(X,Y)，即学习先验概率分布条件概率分布假设条件独立然后根据...
Naive-Bayes(朴素贝叶斯）
原理：朴素贝叶斯算法是一个典型的统计学习方法，主要理论基础就是一个贝叶斯公式，贝叶斯公式的基本定义如下：这个公式...
Machine Learning (4)
贝叶斯公式推导，朴素贝叶斯公式学习先验概率学习后验概率 LR 和 Linear Regression 之间的区...
朴素贝叶斯法(1) 之基础概念
笔记来自《统计学习方法》第四章。大体分析朴素贝叶斯的优缺点优点：朴素贝叶斯模型发源于古典数学理论，有着坚实...
朴素贝叶斯算法
问题 1. 什么是朴素贝叶斯 2. 怎么理解贝叶斯公式和朴素贝叶斯公式 3. 朴素贝叶斯算法流程是怎样...
算法笔记（7）-朴素贝叶斯算法及Python代码实现
朴素贝叶斯算法有三种类型，分别是贝努利朴素贝叶斯、高斯贝叶斯、多项式朴素贝叶斯。贝叶斯公式贝努利朴素贝叶斯适...
朴素贝叶斯算法介绍及优化
朴素贝叶斯（Naive Bayes）贝叶斯公式朴素贝叶斯算法其实原理很简单，要理解朴素贝叶斯算法我们首先得知道...
朴素贝叶斯
序本次记录朴素贝叶斯的相关原理，并上一张手写的面试级推导过程朴素贝叶斯模型是什么？朴素贝叶斯是基于贝叶斯定理...
朴素贝叶斯的公式推导
朴素贝叶斯分类是一种十分简单的分类算法，叫它朴素贝叶斯分类是因为这种方法的思想真的很Naive。它有一个基本的假...