主要推导了一个公式
推导MLE与LSE.jpeg
即用极大似然估计（MLE）的角度去解多元线性回归 其结果与最小二乘(LSE)解的结果是一样的，这一点我觉得很神奇。
可以看这个解释例子
https://www.cnblogs.com/little-YTMM/p/5700226.html
2。 学习数值分析，学习了两种优化，
无约束最优化和有约束最优化。
无约束最优化主要有 梯度下降法 牛顿法
梯度下降法在接近极值的时候会产生震荡的情况
牛顿法二阶收敛所以在震荡的情况比梯度下降法好，但是在较远的情况下，牛顿法可能不收敛，牛顿法是用泰勒公式展开到二阶。
可以参考这个文章
https://www.jianshu.com/p/d892d0d13b6d
不等式约束涉及到 kkt 条件
参考学习这个
https://www.cnblogs.com/liaohuiqiang/p/7805954.html
主要推导了一个公式推导MLE与LSE.jpeg 即用极大似然估计（MLE）的角度去解多元线性回归 其结果与最小二乘...
极大似然估计 以前多次接触过极大似然估计，但一直都不太明白到底什么原理，最近在看贝叶斯分类，对极大似然估计...
极大似然估计(Maximum Likelihood Estimation,MLE)，也称最大似然估计。“似然”是对...
序 极大似然估计和最大后验估计是机器学习中常用的两种参数估计方法。本次记录MLE的原理和用法，为后续推导LR等目标...
动机 在学习机器学习算法过程中，发现很多算法策略都采用极大似然估计， 如：线性、逻辑回归，决策树，隐马尔科夫模型。...
极大似然估计是一种参数估计的方法（知模型求参数）。先验概率是 知因求果，后验概率是 知果求因，极大似然是 知果求最...
现实情况中我们可能会遇到这样的一些例子，需要得到一所高校有车学生的分布情况（假定符合参数为p的伯努利分布），某地区...
似然函数 似然函数（likelihood function）是一种关于统计模型中的参数的函数，既然是函数那自变量就...
极大似然估计 我们也可以理解为最像估计法或者最可能估计法。 通俗理解：对于一个事件的发生我们的猜测是基于一...
1. 什么是似然函数? 本质是关于随机数X的概率密度函数,只不过没有给定参数.概率密度函数反映的是给定值 的事件发...
本文标题：2019-10-04 学习极大似然估计与优化理论
本文链接：https://www.haomeiwen.com/subject/fkynuctx.html
网友评论