开始之前先看看这篇文章 https://blog.csdn.net/bitcarmanlee/article/details/81417151

5.5 最大似然估计

https://blog.csdn.net/u014182497/article/details/82252456
概念：最大似然估计就是从不同模型中得到特定函数作为好的估计，然后分析其偏差和方差。其实就是求一组能够使似然函数最大的参数

概率和似然的区别：

·概率：在特定环境下某件事情发生的可能性，即结果没有产生之前依据环境所对应的参数来预测某件事情发生的可能性，知道条件估计结果

·似然：确定的结果下去推测产生这个结果的可能环境（参数），即知道结果估计参数

求最大似然估计：

（1） 写出似然函数

（2） 对似然函数取对数，并整理

（3） 求导数=0

（4） 解似然方程

最大似然估计是机器学习中的首选估计！

5.6 贝叶斯估计

概念：在做估计时考虑所有的条件Θ

对比与最大似然估计，贝叶斯估计有两个不同点：

1. 不像最大似然方法预 测时使用 θ 的点估计，贝叶斯方法使用 θ 的全分布，即概念所说的考虑所有的Θ

2. 先 验能够影响概率质量密度朝参数空间中偏好先验的区域偏移。根据贝叶斯公式分子的确有一项p(Θ)作为先验概率

最大后验估计（MLE）

有人批判贝叶斯估计说先验概率是人为的主观感受，会导致结果具有不准确性，因此引入最大后验估计，最大后验估计是点估计，集合了最大似然估计和贝叶斯估计的优点

Θmap = argmax p(x|θ) × p(θ)   p(x|θ) 为似然函数，p(θ) 为先验概率。

最大后验概率也是通过求对数获得Θmap =  argmax log p(x | θ) + log p(θ):