【机器学习】几种常见的最优估计算法

        最近学习到了机器学习中的最优估计算法，发现自己对于这一部分仍然存在许多似是而非的地方，这里，希望通过对几种常见的最优估计算法的总结与对比，更加清楚地搞懂这部分内容。

        所谓的最优估计，就是找到使目标函数取极值时的被估计对象的值，显然，目标函数不同，所得到最优估计的结果也不同。目前，最常用的目标函数主要包括三种：

        1）估计偏差平方和：最小二乘估计

        2）方差：最小方差估计

        3）条件概率分布密度函数：最大似然估计、贝叶斯估计、最大验后估计

一、最小二乘估计

        最小二乘算法只涉及到了量测模型，并且不需要对量测噪声进行建模，它是通过使用偏差平方和最小准则，从而得到状态的最优估计。

二、最小方差估计

        最小二乘估计虽然应用方便，但其估计精度有待提高，而最小方差估计利用了状态和量测量的概率分布密度函数，可以取得较高的精度。

三、最大似然估计

        最大似然估计是被使用最为广泛的一种参数估计方法，其建立的依据为最大似然原理，可以简单理解为样本所展现的状态便是所有可能状态中出现概率最大的状态。因此，最大似然估计即是利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值。

四、贝叶斯估计

        极大似然估计仅仅是用到了由样本信息得到的先验概率进行统计推断，而贝叶斯估计则引入了参数的先验估计，通过贝叶斯定理，得到后验概率来进行统计推断。贝叶斯估计的本质是通过贝叶斯决策得到参数的最优估计，使得总期望风险最小。

五、最大验后估计

        最大验后估计实际上可以看成贝叶斯估计的一种特殊形式，它和贝叶斯估计一样，引入了参数的先验估计，通过贝叶斯定理，得到后验概率来进行统计推断。但它不同于贝叶斯估计，将估计值认为是随机量，它认为估计值为固定值，因此，使先验概率最大，即可得到参数的最大验后估计，即

参考资料：

【1】Deep Learning, Yoshua Bengio（ 密码: jzm3）

【2】深入浅出最大似然估计（Maximum Likelihood Estimation）

【3】极大似然估计详解

【4】机器学习数学原理（1）——极大似然估计法

【5】贝叶斯估计详解

【6】最大似然估计 （MLE） 最大后验概率（MAP）