贝叶斯方法理解

作者: ShuiLocked | 来源:发表于2020-06-10 08:16 被阅读0次

自然语言处理-朴素贝叶斯方法
朴素贝叶斯算法介绍及优化
朴素贝叶斯算法
朴素贝叶斯法(NaiveBayes)
贝叶斯方法理解
贝叶斯
从胃和瞌睡的关系看认知
03 贝叶斯算法 - 案例二 - 新闻数据分类
分类--贝叶斯分类
机器学习-贝叶斯

读到了一篇不错的关于贝叶斯方法和贝叶斯网络的文章，整理一下理解和思考。

概率和统计是两个非常相关的概念，大家印象里很容易把统计变量等同于某个概率值或概率分布，但对于不同的统计方法而言，如何看待统计变量是存在区别的。

对于某个待推断的统计变量 $\theta$ ，频率学派认为 $\theta$ 是一个固定变量，给定了一系列随机样本 $X$ 后，通过计算频率来估计样本的分布，从而确定 $\theta$ 。相反，贝叶斯学派认为 $\theta$ 也是随机变量，在没有观察到任何样本之前，人们可以对 $\theta$ 有一个主观的猜测，通常表示为先验分布 $p(\theta)$ 。而当观察到样本后X，先验分布会被逐渐修正为后验分布 $p(\theta|X)$ ，从而逼近真正 $\theta$ 的取值。

既然贝叶斯方法中，需要由后验分布来估计统计变量，那么一个重要的问题是如何计算后验分布。这里就需要引入贝叶斯公式： $p(\theta|X) = \frac{p(\theta,X)}{p(X)} = \frac{p(X|\theta)p(\theta)}{p(X)}$ 。

可以看到，后验分布 $p(\theta|X)$ 是先验分布 $p(\theta)$ 通过乘以某个修正因子 $\frac{p(X|\theta)}{p(X)}$ 得到的。这里 $p(X|\theta)$ 被称为Likelihood，表示已知 $\theta$ ，样本X发生的概率； $p(\theta,X)$ 称为联合分布，表示 $p(\theta,X)$ 同时发生的概率； $p(X)$ 则代表样本X发生的边缘分布，可以通过将联合分布 $p(\theta,X)$ 对 $\theta$ 积分求得。