极大似然估计

极大似然估计(Maximum Likelihood Estimation,MLE)，也称最大似然估计。“似然”是对 likelihood 的一种较为贴近文言文的翻译，“似然”用现代的中文来说即“可能性”。故而，若称之为“最大可能性估计”则更加通俗易懂。

在统计学中，极大似然估计是重要的参数估计方法；在机器学习领域，也经常看到直接使用极大似然估计以及使用极大似然思想的方法。

在深度学习中，参数估计是最基本的步骤之一了，也就是我们所说的模型训练过程。为了训练模型就得有个损失函数，而如果没有系统学习过概率论的读者，能想到的最自然的损失函数估计是平均平方误差，它也就是对应于我们所说的欧式距离。而理论上来讲，概率模型的最佳搭配应该是“交叉熵”函数，它来源于概率论中的最大似然函数。

极大似然原理其实最简单的理解就是：样本所展现的状态便是所有可能状态中出现概率最大的状态。

最大似然估计，就是利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值。

一个试验有若干个可能结果A1，A2，A3，…，An，若一次实验的结果是Ai发生，则自然认为Ai在所有可能结果中发生的概率最大，当总体X的未知参数θ待估时，应用这一原理，对X的样本（X1，X2，…，Xn）做一次观测实验，得到样本观察值（x1，x2，…，xn）为此一次试验结果，那么参数θ的估计值应该取为使得这一结果发生的概率为最大才合理，这就是极大似然估计法的基本思想。

参数估计方法

极大似然思想
极大似然估计的核心思想，就是估计出使样本出现概率最大的参数作为分布(密度)参数；从另一个角度，极大似然估计认为已经发生的(这些样本出现)就是是概率最大的，从而求出分布(密度)参数。

极大似然估计是频率学派最经典的方法之一，认为真实发生的结果的概率应该是最大的，那么相应的参数，也应该是能让这个状态发生的概率最大的参数。

参考文献

[1] 百度百科-极大似然估计

[2] 苏剑林. (2018, Mar 15). 《从最大似然到EM算法：一致的理解方式 》[Blog post]. Retrieved from https://kexue.fm/archives/5239

[3] CSDN - 极大似然估计详解