美文网首页分析101
多元正态分布初识

多元正态分布初识

作者: Boye0212 | 来源:发表于2021-04-13 13:22 被阅读0次

在本科阶段的教材中，往往会有多元正态分布的公式出现，但课堂上都不会重点讲解，而在研究生入学考试中也基本不会考。但在实际应用中，多元的情况却非常常见。

本文通过对多元正态分布的公式进行拆解，来正式认识一下它。

1 多元正态分布公式

对于D维正态分布变量x，直接上它的密度公式：
\mathcal{N}(x|\mu,\Sigma)=\dfrac{1}{(2\pi)^{D/2}}\dfrac{1}{\vert\Sigma\vert^{1/2}}\exp\left\{-\dfrac{1}{2}(x-\mu)'\Sigma^{-1}(x-\mu)\right\}

其中\mu为D\times 1的均值向量，\Sigma为D\times D的协方差矩阵。

公式看起来十分复杂，相信第一次见到时，几乎所有人都会被吓到。沉住气，我们把它拆解了看。

2 公式拆解

先看最后面指数函数中的部分，其中有一个二次型：
\Delta^2=(x-\mu)'\Sigma^{-1}(x-\mu)

\Delta叫作\mu和x之间的Mahalanobis distance，中文叫马哈拉诺比斯距离或者马氏距离，是印度统计学家Mahalanobis提出的。

\Sigma一般可以是对称矩阵，考虑它的D个特征值\lambda_i和相应的相互正交的特征向量u_i，\Sigma u_i = \lambda_i u_i，记U=(u_1,\cdots,u_D)，U满足U'U=I_D，再记\Lambda=\text{diag}(\lambda_1,\cdots,\lambda_D)，那么可将\Sigma写成特征向量展开的形式：
\Sigma =U\Lambda U'= \sum_{i=1}^{D} \lambda_i u_i u_i'

如果做换元y=U'(x-\mu)，则有\Delta^2=y'\Lambda^{-1}y，也就是说，通过换元，我们将原来在x坐标系下的分布，变成了一个在y坐标系下的、各个分量互相不相关的分布。如图所示：

image.png

再看在指数函数前面的部分，由\Sigma =U\Lambda U'可知|\Sigma|=|\Lambda|，因此|\Sigma|^{-1}=|\Lambda|^{-1}=\prod\limits_{j=1}^{D}\lambda_j^{-1}。

利用Jacobian matrix J=U'，并由|J|^2=|U'U|=1可得|J|=1，于是我们可以将原来的密度函数直接变换为
\begin{aligned} f_Y(y) =& |J|f_X\left(x(y)\right)\\ =& \dfrac{1}{(2\pi)^{D/2}}\dfrac{1}{\vert\Lambda\vert^{1/2}}\exp\left\{-\dfrac{1}{2}y'\Lambda^{-1}y\right\}\\ =& \prod_{j=1}^{D} \dfrac{1}{(2\pi \lambda_j)^{1/2}}\exp(-\dfrac{y_j^2}{2\lambda_j}) \end{aligned}

在原来的x坐标系下，各分量之间可能有相关性，对应二维时候的图像为下图（1），而在新的y坐标系下，协方差矩阵变为对角矩阵，也因此图像变为下图中（2）的情况，而若各分量同方差，则会变为类似于标准正态分布的同心圆即下图（3）的形式：

相关文章

网友评论

    本文标题：多元正态分布初识

    本文链接：https://www.haomeiwen.com/subject/npaqlltx.html

    延伸阅读

    深度阅读

    • 您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

    栏目导航

    热点阅读

    分析101

    关于我们|服务条款|联系我们|多元正态分布初识|投稿指南|网站地图|RSS订阅|排版工具|手机版

    提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

    Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网 版权所有

    备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

    本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

    所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！