2.3.3 高斯变量的贝叶斯定理

作者: golfgang | 来源:发表于2019-01-30 14:55 被阅读0次

2.3.3 高斯变量的贝叶斯定理
Python 高斯分布可视化
GMM基础
高斯过程回归|机器学习推导系列（二十四）
2.3.1 条件高斯分布
2.3 高斯变量
高斯混合模型与EM算法的推导
4 聚类 - 高斯混合聚类
统计机器学习 -- 目录
解决上传 ipa 到苹果商店后无法构建版本的问题

贝叶斯定理： $P(AB) = P(B|A)P(A)$ ， $P(A|B)P(B)=P(B|A)P(A)$

已知
2.3.1 条件高斯分布： $p(y|x) = N(y|Ax+b, L^{-1})$
2.3.2 边缘高斯分布： $p(x) = N(x|\mu, \wedge^{-1})$

求 $x,y$ 联合分布的表达式，为此，定义
$z = \begin{bmatrix} {x}\\{y} \end{bmatrix}$

由(2.42),(2.43) 知 $-\frac{1}{2\sigma^{2}}(x-\mu)^2 在多维的推广为-\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu)$

考虑联合概率分布的对数

$\ln{p(z)} = \ln{p(x)} + \ln{p(y)} =-\frac{1}{2}(x-\mu)^{T}\wedge(x-\mu) - \frac{1}{2}(y-Ax-b)^{T}L(y-Ax-b) + C$
将最右边的式子展开后取得二次项的部分，可以写成
$-\frac{1}{2}x^T(\wedge+A^TLA)x -\frac{1}{2}y^TLy+\frac{1}{2}y^TLAx+\frac{1}{2}x^TA^TLy=-\frac{1}{2} \begin{bmatrix} {x}\\{y} \end{bmatrix}^T \begin{bmatrix} {\wedge+A^TLA}&{-A^TL}\\{-LA}&{L} \end{bmatrix} \begin{bmatrix} {x}\\{y} \end{bmatrix}=-\frac{1}{2}z^TRz$
所以 $z$ 上的高斯分布的精度矩阵(协方差的逆矩阵)为 $R$
$cov[z]=R^{-1}=\begin{bmatrix} {\wedge^{-1}}&{{\wedge}^{-1}A^T}\\{A\wedge^{-1}}&{L^{-1}+A\wedge^{-1}A^T} \end{bmatrix}$
上述 $cov[z]$ 为 $z$ 的方差

接下来求 $z$ 的均值
由（2.71）知 $-\frac{1}{2}(z-E[z])^T\Sigma^{-1}(z-E[z])=-\frac{1}{2}z^T\Sigma^{-1}z+z^T\Sigma^{-1}E[z]+C$

上面已将二次项部分求出得到方差 $\Sigma$ ，将上面展开后的式子为取出的一次项用来求取均值，一次项为
$x^T\wedge\mu-x^TA^TLb+y^TLb=\begin{bmatrix} {x}\\{y} \end{bmatrix}^T \begin{bmatrix} {\wedge\mu-A^TLb}\\{Lb} \end{bmatrix}$
等式左边替换为(2.71)的一次项部分
$\begin{bmatrix} {x}\\{y} \end{bmatrix}^T \Sigma^{-1}E[z]=\begin{bmatrix} {x}\\{y} \end{bmatrix}^T \begin{bmatrix} {\wedge\mu-A^TLb}\\{Lb} \end{bmatrix}$
可得 $E[z]$
$E[z] = \Sigma\begin{bmatrix} {\wedge\mu-A^TLb}\\{Lb} \end{bmatrix}=R^{-1}\begin{bmatrix} {\wedge\mu-A^TLb}\\{Lb} \end{bmatrix}=\begin{bmatrix} {\mu}\\{A\mu+b} \end{bmatrix}$
以上求得联合分布 $z$ 的协方差 $\Sigma$ 和均值 $E[z]$
$E[z] = \begin{bmatrix} {\mu}\\{A\mu+b} \end{bmatrix} \\ cov[z]=\begin{bmatrix} {\wedge^{-1}}&{{\wedge}^{-1}A^T}\\{A\wedge^{-1}}&{ L^{-1}+A\wedge^{-1}A^T} \end{bmatrix}$

然后由联合分布 $z$ 的均值和协方差来求边缘分布 $p(y)$ 的均值和协方差(2.3.2)
由公式(2.92)和(2.93)得
$E[y] = A\mu+b\\ cov[y] = L^{-1}+A\wedge^{-1}A^T$

求条件分布 $p(x|y)$ 的均值和方差(2.3.1)
由公式(2.73)和(2.75)得
$E[x|y] = (\wedge +A^TLA)^{-1}\{A^TL(y-b)+\wedge\mu\}\\ cov[x|y] = (\wedge+A^TLA)^{-1}$

结论
给定 $x$ 的一个边缘高斯分布，已经在给定 $x$ 条件下 $y$ 的条件高斯分布
$p(x) = N(x|\mu, \wedge^{-1})\\ p(y|x) = N(y|Ax+b, L^{-1})$
$y$ 的边缘分布以及给定 $y$ 的条件下的 $x$ 的条件分布

$p(y) = N(y|A\mu+b,L^{-1}+A\wedge^{-1}A^T)\\ p(x|y) = N(x|\Sigma\{A^TL(y-b)+\wedge\mu\},\Sigma)\\ \Sigma = (\wedge+A^TLA)^{-1}$

2.3.3 高斯变量的贝叶斯定理
贝叶斯定理：，已知2.3.1 条件高斯分布： 2.3.2 边缘高斯分布：求联合分布的表达式，为此，定义由(2...
Python 高斯分布可视化
要用到的库 1. 单变量高斯分布单变量的高斯分布：随机生成的符合高斯分布的样本点与概率密度曲线 2. 多变量高斯...
GMM基础
一、单成分单变量高斯模型二、单成分多变量高斯模型若协方差矩阵为对角矩阵且对角线上值相等，两变量高斯分布的等值线...
高斯过程回归|机器学习推导系列（二十四）
一、概述将⼀维高斯分布推⼴到多变量中就得到了高斯网络，将多变量推⼴到无限维，就得到了高斯过程。高斯过程是定义在连...
2.3.1 条件高斯分布
多元高斯的一个重要性质：若果两组变量是联合高斯分布，那以一组变量维条件，另一组变量同样是高斯分布。类似的，任何一...
2.3 高斯变量
高斯分布多元高斯分布(D维)本文旨在证明：和为多元高斯分布的均值和方差二次型矩阵可以取对称矩阵，因为任何非对称项...
高斯混合模型与EM算法的推导
1. 预备知识 1.1 高斯分布高斯分布是拟合随机数据最常用的模型。单变量的高斯分布概率密函数如下: 其中分布...
4 聚类 - 高斯混合聚类
背景协方差与相关系数协方差描述两变量变化的相似度，相关系数除去了变量变化幅度的影响高斯混合模型多个高斯分布混合...
统计机器学习 -- 目录
概率基础随机变量1 随机变量2 高斯分布连续分布例子 scale mixture pisribarin je...
解决上传 ipa 到苹果商店后无法构建版本的问题
HBuilderX 版本：2.3.3，对应的 SDK 版本：2.3.3，Xcode 版本：10.1HBuilder...