简述极大似然估计

极大似然估计是一种参数估计的方法。
先验概率是 知因求果，后验概率是 知果求因，极大似然是 知果求最可能的原因。
即它的核心思想是：找到参数 θ 的一个估计值，使得当前样本出现的可能性最大。

例如，当其他条件一样时，抽烟者患肺癌的概率是不抽烟者的 5 倍，那么当我们已知现在有个人是肺癌患者，问这个人是抽烟还是不抽烟？大多数人都会选择抽烟，因为这个答案是“最有可能”得到“肺癌”这样的结果。

---

为什么要有参数估计

当模型已定，但是参数未知时。
例如我们知道全国人民的身高服从正态分布，这样就可以通过采样，观察其结果，然后再用样本数据的结果推出正态分布的均值与方差的大概率值，就可以得到全国人民的身高分布的函数。

---

为什么要使似然函数取最大

极大似然估计是频率学派最经典的方法之一，认为真实发生的结果的概率应该是最大的，那么相应的参数，也应该是能让这个状态发生的概率最大的参数。

---

极大似然估计的计算过程

1. 写出似然函数

   
   
   

   其中 x1,x2,⋯,xn 为样本，θ 为要估计的参数。

2. 一般对似然函数取对数

   
   
   

   因为 f(xi|θ) 一般比较小，n 比较大，连乘容易造成浮点运算下溢。

3. 求出使得对数似然函数取最大值的参数的值
   对对数似然函数求导，令导数为0，得出似然方程，
   求解似然方程，得到的参数就是对概率模型中参数值的极大似然估计。

---

例子

假如一个罐子里有黑白两种颜色的球，数目和比例都不知道。
假设进行一百次有放回地随机采样，每次取一个球，有七十次是白球。
问题是要求得罐中白球和黑球的比例？

假设罐中白球的比例是 p，那么黑球的比例就是 1−p。
那么似然函数：

接下来对似然函数对数化：

然后求似然方程：

最后求得 p=0.7

---

资料：
http://blog.csdn.net/poi7777/article/details/23204789
http://blog.csdn.net/bitcarmanlee/article/details/52201858
http://blog.csdn.net/zouxy09/article/details/8537620
https://zhuanlan.zhihu.com/p/24423230

---

推荐阅读 历史技术博文链接汇总
http://www.jianshu.com/p/28f02bb59fe5
也许可以找到你想要的：
[入门问题][TensorFlow][深度学习][强化学习][神经网络][机器学习][自然语言处理][聊天机器人]