2.3.4 高斯分布的最大似然估计

作者: golfgang | 来源:发表于2019-02-21 20:21 被阅读0次

2.3.4 高斯分布的最大似然估计
2.3.5 顺序估计
2.3.6 ⾼斯分布的贝叶斯推断
高斯分布|机器学习推导系列（二）
最大似然估计
最大似然估计
最大似然估计
模式识别——3 概率密度函数的估计
极大似然估计和贝叶斯估计
最大似然估计和最大后验概率

给定一个数据集 $X=(x_1,x_2,...x_N)^T$ ，其中观测 $\{x_n\}$ 嘉定是独立从多元高斯分布中抽取的，那我们可以用最大似然来估计分布的参数 $\mu$ 和 $\Sigma$
高斯分布公式
$N(x|\mu,\Sigma) = \frac{1}{(2\pi)^\frac{D}{2}}\frac{1}{|\Sigma|^\frac{1}{2}}\exp\{-\frac{1}{2}(x-\mu)^T\Sigma^{-1}\}$
对数似然函数为
$\ln p(X|\mu,\Sigma) = -\frac{ND}{2}\ln(2\pi)-\frac{N}{2}\ln|\Sigma|-\frac{1}{2}\sum^{N}_{n=1}(x_n-\mu)^T\Sigma^{-1}(x_n-\mu)$

似然函数对数据集的依赖体现在 $x_n$ 和 $x_nx_n^T$ ，对 $\mu$ 进行求导，应用二次型求导公式
$\frac{\delta}{\delta X}X^TAX = 2AX$
我们有
$\frac{\delta}{\delta \mu}\ln p(X|\mu,\Sigma) =\sum^N_{n=1}\Sigma^{-1}(x_n-\mu)$
令导数为零，求出均值
$\mu_{ML}=\frac{1}{N}\sum^{N}_{n=1}x_n$
也就是数据点的观测集合均值

可以看出 $\mu_{ML}$ 的求解与 $\Sigma_{ML}$ 无关，因此我们可以使用 $\mu_{ML}$ 来求解 $\Sigma_{ML}$
$\Sigma_{ML}=\frac{1}{N}\sum^{N}_{n=1}(x_n-\mu_{ML})(x_n-\mu_{ML})^T$
结果为
$E[\mu_{ML}]=\mu\\ E[\Sigma_{ML}]=\frac{N-1}{N}\Sigma$

对于书中有这么一段话：

我们看到对于均值的最大似然估计的期望等于实际的均值。然而，对于协方差的最大似然估计的期望小于真正的值，因此是有偏的。我们可以定义一个不同的估计值 $\Sigma$ 来修正这个误差

根据https://www.matongxue.com/madocs/607.html给出的解答，可以得到关于协方差的公式
$\Sigma = \frac{1}{N-1}\sum^{N}_{n=1}(x_n-\mu_{ML})(x_n-\mu_{ML})^T$
另外关于无偏估计量 https://blog.csdn.net/ccnt_2012/article/details/82715415