Notes on 极大似然估计（MLE）

作者: 清筱筱 | 来源:发表于2018-10-23 22:30 被阅读0次

Notes on 极大似然估计（MLE）
极大似然估计（MLE）
极大似然估计MLE
极大似然估计(MLE)
极大似然估计
【No3】极大似然估计（MLE）
第七章：MLE
极大似然估计 (MLE) 及 Stata 实现
机器学习算法之MLE && MAP（转）
机器学习：极大似然估计

从总体 $X$ 中取出n个样本 $X_1,X_2,...,X_n$ ，观测值分别为 $x_1,x_2,...,x_3$ ，则似然函数为
$\mathcal{Lik}(\theta)=\prod_{i=1}^nf(x_i;\theta)$
求使得出现样本概率最大的参数 $\hat{\theta}$ 作为 $\theta=[\theta_1,\theta_2,...,\theta_k]^\top$ 的估计值
$\hat{\theta}=arg\ max_\ \mathcal{Lik}(\theta)=arg\ max\prod_{i=1}^n f(x_i;\theta)$
为了方便计算，对 $\ Lik(\theta)\ $ 取对数得到对数似然函数
$\ell(\theta)=\sum_{i=1}^nlogf(x_i;\theta)$
又记梯度算子
$\nabla_\theta=[\frac{\partial}{\partial\theta_1},\frac{\partial}{\partial\theta_2},...,\frac{\partial}{\partial\theta_k}]^\top$
若似然函数满足连续可导的条件，则最大似然估计量 $\ \hat{\theta}\$ 就是如下方程的解
$\nabla_\theta \ell(\theta)=\sum_{i=n}^n\nabla_\theta logf(x_i;\theta)=0$

例设样本服从正态分布 $\ \mathcal{N} (\mu, \sigma^2)$ ，则似然函数为
$\mathcal{Lik}(\mu,\sigma^2)=\prod_{i=1}^N\frac{1}{\sqrt{2\pi}\sigma}exp(-\frac{1}{2\sigma^2}\sum_{i=1}^n(x_i-\mu)^2)$
对数似然函数
$\ell(\mu,\sigma)=-\frac{n}{2}log(2\pi)-\frac{n}{2}log(\sigma^2)-\frac{1}{2\sigma^2}\sum_{i=1}^n(x_i-\mu)^2$
得方程组
$\left\{ \begin{align} &\frac{\partial}{\partial\mu}\ell(\mu,\sigma)=\frac{1}{\sigma^2}\sum_{i=1}^n(x_i-\mu)=0 \\ &\frac{\partial}{\partial\sigma}\ell(\mu,\sigma)=-\frac{n}{2\sigma^2}+\frac{1}{2\sigma^2}\sum_{i=1}^n(x_i-\mu)^2=0 \end{align} \right.$
解得 $\ \hat{\mu}=\bar{x},\hat{\sigma^2}=\dfrac{1}{n}\sum\limits_{i=1}^n(x_i-\bar{x})^2\$ 为极大似然估计参数。

定义 $\ Fisher\$ 信息
$\mathcal{I}(\theta)=\mathbb{E}[\nabla logf(X;\theta)\nabla logf(X;\theta)^\top]$
其中， $\ f(X;\theta)\$ 是分布的密度函数。（不是似然函数。）

引理
$\mathcal{I}(\theta)=-\mathbb{E}[\nabla^2logf(X;\theta)]$
定理在 $\ f\$ 具有合适的平滑条件下，来自 $\ i.i.d\$ 样本的最大似然估计具有一致性。且
$(\hat{\theta}-\theta_0)→\mathcal{N}(0,\frac{1}{n\mathcal{I}(\theta_0)})$
其中， $\dfrac{1}{n\mathcal{I}(\theta_0)}$ 称为最大似然估计的渐进方差。

例伯努利分布 $\ B(p)\$ 有密度函数
$f(x|p)=p^x(1-p)^{1-x},\ x=0,1$
取对数
$logf(x|p)=xlogp+(1-x)log(1-p)$
求导
$\frac{\partial}{\partial p}logf(x|p)=\frac{x}{p}-\frac{1-x}{1-p},\ \ \frac{\partial^2}{\partial p^2}logf(x|p)=-\frac{x}{p^2}-\frac{1-x}{(1-p)^2}$
得到 $\ Fisher\$ 信息
$\mathcal{I}(\theta)=-\mathbb{E}[\frac{\partial^2}{\partial p^2}logf(X|p)]=\frac{\mathbb{E}X}{p^2}+\frac{1-\mathbb{E}X}{(1-p)^2}=\frac{1}{p}+\frac{1}{1-p}=\frac{1}{p(1-p)}$
得到渐进方差
$\sigma^2=\frac{1}{n\mathcal{I}(\theta)}=\frac{p(1-p)}{n}$
即
$(\hat{\theta}-\theta_0)→\mathcal{N}(0,\frac{p(1-p)}{n})$

Notes on 极大似然估计（MLE）
从总体中取出n个样本，观测值分别为，则似然函数为求使得出现样本概率最大的参数作为的估计值为了方便计算，对取对数得到...
极大似然估计（MLE）
依然是一些最粗浅的理解：当我们拥有一批实际数据，并且有一个模型可以模拟，那么极大似然估计(maximum like...
极大似然估计MLE
〇、说明极大似然估计(Maximum Likelihood Estimation,MLE)，也称最大似然估计。统...
极大似然估计(MLE)
极大似然估计（MLE: maximum likelihood estimate.）历史 1822年，高斯在处理正...
极大似然估计
极大似然估计(Maximum Likelihood Estimation,MLE)，也称最大似然估计。“似然”是对...
【No3】极大似然估计（MLE）
概念：已知某个随机样本满足某种概率分布，但是其中具体的参数不清楚，参数估计就是通过若干次试验，观察结果，利用结果...
第七章：MLE
最大似然估计 MLE
极大似然估计 (MLE) 及 Stata 实现
作者：郭李鹏Stata 连享会：知乎 | 简书 | 码云 | CSDN 连享会计量方法专题…… M...
机器学习算法之MLE && MAP（转）
极大似然估计（MLE）最大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。简单而...
机器学习：极大似然估计
极大似然估计（Maximum Likelihood Estimate，MLE）由于样本数据，是实实在在发生的数...

Notes on 极大似然估计（MLE）

相关文章

Notes on 极大似然估计（MLE）

极大似然估计（MLE）

极大似然估计MLE

极大似然估计(MLE)

极大似然估计

【No3】极大似然估计（MLE）

第七章：MLE

极大似然估计 (MLE) 及 Stata 实现

机器学习算法之MLE && MAP（转）

机器学习：极大似然估计

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读