2.3.6 ⾼斯分布的贝叶斯推断

作者: golfgang | 来源:发表于2019-02-27 14:03 被阅读0次

2.3.6 ⾼斯分布的贝叶斯推断
贝叶斯分类器（1）贝叶斯决策论概述、贝叶斯和频率、概率和似然
贝叶斯分类器(10X单细胞和10X空间转录组的基础算法)
LDA主题模型和推荐系统3
【转】贝叶斯推断及其互联网应用---阮一峰
2019-01-28
决策树和朴素贝叶斯
【机器学习实战（四）】sklearn包中朴素贝叶斯库的使用
频率学派与贝叶斯学派
VI

2.3.4, 2.3.5 高斯分布的最大似然估计给出了对于参数 $\mu$ 和 $\Sigma$ 的点估计，这里我们引入这些参数的先验分布，来介绍一种贝叶斯方法。

首先我们假设方差 $\sigma^2$ 已知，要从一组 $N$ 次观察 $x = \{x_1,...,x_N\}$ 中推断均值 $\mu$ ，考虑似然函数，在 $\mu$ 给定的情况下，观测的数据集出现的概率，可以看成是 $\mu$ 的函数，有
$p(x|\mu)=\prod_{n=1}^Np(x_n|\mu)=\frac{1}{(2\pi\sigma^2)^{\frac{N}{2}}}\exp\{-\frac{1}{2\sigma^2}\sum_{n=1}^N(x_n-\mu)^2\}$
似然函数与 $\mu$ 有关的只有指数上的关于 $\mu$ 的二次型，所以我们可以将先验分布 $p(\mu)$ 选成高斯分布，因为高斯分布与 $\mu$ 有关的也只有指数上的关于 $\mu$ 的二次型，他是似然函数的一个共轭分布，而后验概率是两个µ的⼆次函数的指数的成绩，因此也是⼀个⾼斯分布。我们令先验分布为
$p(\mu) = N(\mu|\mu_0,\sigma_0^2)$
后验概率为
$p(\mu|x) \propto p(x|\mu)p(\mu)$
通过计算不难得到
$p(\mu) = N(\mu|\mu_0,\sigma_0^2)$
对含 $\sigma$ 和 $\mu$ 的项进行计算，可证
$p(\mu|x)= N(\mu|\mu_N,\sigma_N^2)\\ 其中\\ \mu_N = \frac{\sigma^2}{N\sigma_0^2+\sigma^2}\mu_0+\frac{N\sigma_0^2}{N\sigma_0^2+\sigma^2}\mu_{ML}\\ \frac{1}{\sigma_N^2}=\frac{1}{\sigma_0^2}+\frac{N}{\sigma^2}\\ \mu_{ML}=\frac{1}{N}\sum_{n=1}^Nx_n$
说明：

公式给出的后验分布的均值是先验均值 $\mu_0$ 和最⼤似然解 $\mu_{ML}$ 的折中，如果观测数据点的数量 $N = 0$ ，公式就变成了先验均值。对于 $N\rightarrow\infty$ ，后验均值由最⼤似然解给出。
⽅差的倒数被称为精度，精度可以相加，因此后验概率的精度等于先验的精度加上每⼀个观测数据点所贡献的⼀个精度，如果观测数据点的数量 $N = 0$ ，公式就变成了先验的⽅差。对于 $N\rightarrow\infty$ ，⽅差 $\sigma^2_N$ 趋于零，从⽽后验分布在在最⼤似然解附近变成了⽆限⼤的尖峰。

这是一个顺序估计的框架，当观察到第 $N$ 个数据点时，会根据两个量：观察到第 $N-1$ 个数据点时候的均值和数据点 $x_N$ 的值，先验分布是 $N-1$ 时候的分布，后验分布公式如下
$p(\mu|x)\propto[p(\mu)\prod_{n=1}^{N-1}p(x_n|\mu)]p(x_N|\mu)$
方括号的项是观测到 $N − 1$ 个数据点之后的后验概率分布，也可以看做是先验分布，数据点 $x_N$ 的贡献被单独了写出来。

上面我们假定方差已知来估计均值
下面我们假定均值已知来估计方差
同前面一样我们先来找先验分布的共轭形式，下面会用精度 ${\lambda}$ 来代替 $\frac{1}{\sigma^2}$ ，考察 $\lambda$ 的似然函数
$p(x|\lambda)=\prod_{n=1}^N N(x_n|\mu,\lambda^{-1})\propto\lambda^{\frac{N}{2}}\exp\{-\frac{\lambda}{2}\sum_{n=1}^N(x_n-\mu)^2\}$
共轭分布应该正比如 $\lambda$ 的幂指数，和 $\lambda$ 的线性函数的指数，来看Gamma分布的定义
$Gam(\lambda|a,b)=\frac{1}{\Gamma(a)}b^a\lambda^{a-1}\exp(-b\lambda)$
$\Gamma(a)$ 保证了公式能够被正确归一化，很明显Gamma分布就是 $\lambda$ 的似然函数的共轭分布，Gamma分布的均值和方差为
$E[\lambda]=\frac{a}{b}\\ var[\lambda]=\frac{a}{b^2}$

考虑一个先验分布

接下来是对于D维向量x的多元⾼斯分布 $N(x|\mu,\wedge^{−1})$ 的讨论

假设精度矩阵 $\wedge$ 已知，均值的共轭先验分布依然是高斯分布
假设均值 $\mu$ 已知，精度矩阵 $\wedge$ 的共轭先验分布是Wishart分布，定义如下
假设均值和精度矩阵都是未知的，类似于⼀元变量的推理⽅法，共轭先验为：

2.3.6 ⾼斯分布的贝叶斯推断
2.3.4, 2.3.5 高斯分布的最大似然估计给出了对于参数和的点估计，这里我们引入这些参数的先验分布，来介绍一...
贝叶斯分类器（1）贝叶斯决策论概述、贝叶斯和频率、概率和似然
贝叶斯分类器，即是以贝叶斯决策理论为基础的分类器，什么是贝叶斯决策理论呢？贝叶斯决策论 1 统计推断中的贝叶斯学...
贝叶斯分类器(10X单细胞和10X空间转录组的基础算法)
贝叶斯分类器，即是以贝叶斯决策理论为基础的分类器，什么是贝叶斯决策理论呢？贝叶斯决策论 1 统计推断中的贝叶斯学...
LDA主题模型和推荐系统3
LDA 主题模型涉及到贝叶斯理论、Dirichlet 分布、多项分布、图模型、变分推断、EM 算法、Gibbs 抽...
【转】贝叶斯推断及其互联网应用---阮一峰
一、什么是贝叶斯推断贝叶斯推断（Bayesian inference）是一种统计学方法，用来估计统计量的某种性质...
2019-01-28
1 了解高斯分布贝叶斯，多项式贝叶斯伯努力贝叶斯的区别和应用场景 A B 贝叶斯算法：（在各个特征独立...
决策树和朴素贝叶斯
看看例子 1、使用自带的iris数据集朴素贝叶斯二、3种贝叶斯模型 1、高斯分布朴素贝叶斯¶ 高斯分布就是正态...
【机器学习实战（四）】sklearn包中朴素贝叶斯库的使用
目录朴素贝叶斯相关知识点回顾1.1. 什么是朴素贝叶斯分类器1.2. 朴素贝叶斯推断1.3. 朴素贝叶斯学习sk...
频率学派与贝叶斯学派
序本次记录频率学派的主要思想与贝叶斯的区别，并给出贝叶斯公式频率学派与贝叶斯学派的差别频率派把需要推断的参数...
VI
varational inference 背景在贝叶斯框架下，推断一般指的是后验分布，即,我们并不知道后验分布的...