极大似然估计与最小二乘法的关系

极大似然估计

在统计学中，最大似然估计（英语：maximum likelihood estimation，缩写为MLE），也称最大概似估计，是用来估计一个概率模型的参数的一种方法。（摘自维基百科）。

What？啥意思？

2471912.jpg

举个生活中最简单的栗子。

假设袋子中有黑白两种颜色的100个球，又放回的取10次球，其中7次是黑球，3次是白球，你猜袋子里面的黑球占多少？

我想你肯定会猜有70个黑球，30个白球。但是为什么？有什么依据吗？我们来推导一下

---

假设取出黑球的概率是p，取出白球的概率是(1-p)。

p(7黑3白)=p^7 * (1-p)^3

极大似然估计的意思就是当我的黑白球比例是多少的时候，最有可能发生7黑3白这种事件呢？

若max p(7黑3白)，求导等于0即可

p'(7黑3白)=7 * p^6 * (1-p)^3 + (p^7) * 3 * (1-p)^2=0

求得 p=0.7 黑球70个，白球30个 拿走不谢

---

极大似然估计与最小二乘法关系

最小二乘法损失函数是：

image.png

下面通过公式推导来证明当误差项ξ~N(0,σ^2)时，极大似然估计等同于最小二乘法

WechatIMG26.jpeg

---

总结

极大似然估计是根据数据估计模型参数的一种方法，这种方法的原理就是如何确定模型参数最有可能得到当前事件，当数据误差项服从标准正态分布时，其结果和最小二乘法一致