美文网首页
uniform机器学习极简入门1--极大似然法

uniform机器学习极简入门1--极大似然法

作者: uniform斯坦 | 来源:发表于2019-03-13 00:52 被阅读0次

大家好,我是uniform,本人平时关注机器学习和深度学习相关的工作,后续我将会不断推出机器学习&深度学习的入门教程,力图把各个公式结合在一起,给大家呈现不一样的数学和统计。最新的一些业界paper也会后续开相应的专栏来read,希望大家关注。

1 极大似然法的通俗理解

最大似然估计法(MLE:max likelihood estimation)其实就是希望通过样本来估计总体的参数。

已知一个袋子,里面分别装有两种颜色的球(红色和白色),我们有放回地从这个袋子抽取10次,得到8个红色球和2个白色球,求解该袋子的红色球的占比概率。

为了计算这个概率,我们希望最合理的参数应该是使得上述事件发生概率最大的参数。

在参数估计的方法理论上,一直存在两种学派

1 频率派
2 贝叶斯学派

一般我们假设:数据属于独立同分布

今天介绍的最大似然就是频率学派的方法理论,我们假设红色球的概率为p,则白色球的概率为(1-p),上述描述的事件可以用如下概率表示:

L=p^8(1-p)^2

只需要求得上述式子使得L取最大值的p即可。
上述式子求解极值的方法一般是先取对数

logL=8*logp+2*log(1-p)

求导得到

\frac{\partial{logL}}{\partial{p}}=\frac{8}{p}+\frac{-2}{1-p}=0

p=\frac{4}{5}

2 极大似然法的一般式子

通过上述的例子,我们明白了极大似然法如何进行参数估计,我们用更加一般的式子表示如下:
\theta_{MLE}=argmaxP(D|\theta)

其中D表示数据集(即上述我们采样的样本),式子表示希望找到某个\theta使得P(D)概率最大。

上面我们提到了MLE属于频率学派的理论基础,然而对于贝叶斯学派,他们认为参数\theta本身不是一个常量,而是应该也服从某个分布(即我们所说的先验分布)。我们先给式子如下:
P(\theta|D)=\frac{P(D|\theta)*P(\theta)}{\sum{P(D|\theta)*P(\theta)}}

\theta=argmaxP(\theta|D)=argmaxP(D|\theta)*P(\theta)

这个式子就是我们所说的后验概率,我们目标就是希望后验概率最大(MAP)。

我们做如下假设
L=P(D|\theta)*P(\theta)

logL=logP(D|\theta)+logP(\theta)

从拟合的角度来看,最后一项logP(\theta)其实就是一个类似正则化的作用。第一项是表示经验损失。

3 更一般的例子

我们举个后续文章会陆续用到的例子:

假设要估计某个学校男生女生的身高分布,已知该校男生和女生的身高分别服从两个参数不同的高斯分布,以男生抽样为例子,我们从男生中抽样得到n名学生的身高(x1, x2, x3, ...,xn),请问该校男生的身高分布。

上述问题用数学公式表示如下:
L=\prod_{i=1}^{n}{P(x_i)}

P(x_i)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x_i-\mu)^2}{2\sigma^2}}

根据MLE,我们的目标依然是最大化L,由于连乘计算求导不方便,我们取对数

logL=\sum_{i=1}^{n}logP(x_i) =\sum_{i=1}^{n}log(\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x_i-\mu)^2}{2\sigma^2}})

由于凸函数极值是导数为零的点,所以求如下等式
\frac{\partial{logL}}{\partial{\mu}}=0

\frac{\partial{logL}}{\partial{\sigma}}=0

可以求得
\mu=\frac{1}{n}\sum_{i=1}^{n}{x_i}

\sigma^2=\frac{1}{n}\sum_{i=1}^{n}{(x_i-\mu)^2}

根据抽样的x带入上述式子可以求得估计的分布结果。

如果上述x是多维向量,那么上述参数估计可以推广到高维(对应的高斯分布也是高维高斯分布,后续我们会举更多高维例子)

相关文章

网友评论

      本文标题:uniform机器学习极简入门1--极大似然法

      本文链接:https://www.haomeiwen.com/subject/ufrapqtx.html