2019-10-04 学习极大似然估计与优化理论

1. 主要推导了一个公式

   
   推导MLE与LSE.jpeg

即用极大似然估计（MLE）的角度去解多元线性回归 其结果与最小二乘(LSE)解的结果是一样的，这一点我觉得很神奇。

可以看这个解释例子
https://www.cnblogs.com/little-YTMM/p/5700226.html

2。 学习数值分析，学习了两种优化，
无约束最优化和有约束最优化。

无约束最优化主要有 梯度下降法 牛顿法

梯度下降法在接近极值的时候会产生震荡的情况
牛顿法二阶收敛所以在震荡的情况比梯度下降法好，但是在较远的情况下，牛顿法可能不收敛，牛顿法是用泰勒公式展开到二阶。

可以参考这个文章
https://www.jianshu.com/p/d892d0d13b6d

3. 有约束最优化主要是 拉格朗日乘子法 其中分为等式约束与不等式约束

不等式约束涉及到 kkt 条件
参考学习这个
https://www.cnblogs.com/liaohuiqiang/p/7805954.html