多元函数的泰勒展开式
image-20200403212859301.png
牛顿法
牛顿法是梯度下降法的进一步发展，梯度利用目标函数的一阶偏导数信息，以负梯度方向作为搜索方向，只考虑目标函数在迭代点的局部性质；而牛顿法不仅使用目标函数的一阶偏导数，还进一步利用目标函数的二阶偏导数，这样就考虑了梯度变化的趋势，因而能更全面的确定合适的搜索方向以加快收敛，它具有二阶收敛速度（即牛顿法在选择方向时，不仅会考虑坡度是否够大，还会考虑在走了一步之后，坡度是否会变得更大，所以说牛顿法比梯度下降法看的更远一点，能更快的走到最底部）。但牛顿法存在两个缺点：
对目标函数有较严格的要求，函数必须具有连续的一、二阶偏导数，海森矩阵必须正定。
计算相当复杂，除需计算梯度而外，还需计算二阶偏导数矩阵和他的逆矩阵。计算量、存储量均很大，且均以维度N的平方比增加，当N很大时这个问题很突出。
拟牛顿法
img
参考：主要参考《统计学习方法》附录B
多元函数的泰勒展开式image-20200403212859301.png 牛顿法牛顿法是梯度下降法的进一步发展，...
梯度下降，共轭梯度法；牛顿法，拟牛顿法；信赖域方法，罚函数法。
摘抄：https://blog.csdn.net/lilong117194/article/details/781...
牛顿法： 根据二阶泰勒展开，用一阶和二阶倒数确定参数迭代步长和方向 设初始向量，它在处的泰勒展开如下： ，当时 注...
Welcome To My Blog 牛顿法和拟牛顿法是求解无约束最优化问题的常用方法,优点是收敛速度快.牛顿法...
转自Poll 的笔记 阅读目录 梯度下降法（Gradient Descent） 牛顿法和拟牛顿法（Newton's...
常见最优化方法 1.梯度下降法 2.牛顿法 3.拟牛顿法 4.共轭梯度法
本节不仅介绍了Logistic回归在sklearn中模型应用，还介绍了liblinear、牛顿法、拟牛顿法(DFP...
1.gbdt,xgboost,lgbm的区别(阿里，头条) 2.梯度下降法，牛顿法，拟牛顿法区别(阿里) 3.SG...
一. 常用优化方法 最小二乘法，牛顿法，拟牛顿法，梯度下降法 二. tensor和numpy array的相互转换...
本文标题：拟牛顿法的原理
本文链接：https://www.haomeiwen.com/subject/terfmhtx.html
网友评论