海森矩阵与牛顿法

作者: 努力学习的CC | 来源:发表于2020-03-21 20:18 被阅读0次

海森矩阵和牛顿法
海森矩阵与牛顿法
拟牛顿法面面俱到(一)--牛顿插值法
Newton 法及其改进阻尼牛顿法
正定矩阵与海森矩阵
Jacobian矩阵和Hessian矩阵
局部搜索之牛顿法
西瓜书笔记01：logistic回归、决策树
数学｜牛顿迭代法
《深度学习》笔记

之前在看求解优化问题的时候一直出现的两个概念，今天来记录一下

泰勒展开式

$f(x) = \sum_{n=1}^N \frac {f^n(x_0)}{n!} (x-x_0)^n$

牛顿法

牛顿法主要用用在

1. 求解方程式

目标是求解：f（x）=0

当我们要求接的方程式求解起来很困难，我们可以试试用牛顿法来迭代求解，其原理就是对求解的函数使用一阶泰勒展开，那我们在x0处：

$f(x)=f(x_0)+(x-x_0)*f$

已知f(x)=0,则

$x = x_0-\frac {f(x_0)}{f^{`}(x_0)}$ ,很明显只根据这一次迭代我们很难直接得到关于x的准确估测，因此我们需要多次迭代直到收敛 $x_k = x_{k-1}-\frac {f(x_{k-1})}{f^{`}(x_{k-1})}$

2. 求解最优化问题

目标是求解 $f^{`}(x)$ =0

针对这个问题，我们对f(x)进行二阶泰勒公式展开：

$f(x) \approx f(x_0)+f^{`}(x_0)*(x-x_0)+\frac {1}{2}*f^{``}(x_0)*(x-x_0)^2$

我们对上面的式子求导，并令其导数等于0

$f^{`}(x_0) + f^{``}(x_0)*(x-x_0)=0$

$x = x_0-\frac {f^{`}(x_0)}{f^{``}(x_0)}$ 将其推广到 $x_k = x_{k-1}-\frac {f^{`}(x_{k-1})}{f^{``}(x_{k-1})}$

那么对于高纬函数，牛顿公式可以推广为：

$x_k=x_{k-1}-H^{-1}_{k-1}g_{k-1},g_{k-1}=\nabla f(x_{k-1})$

其中 $H^{-1}_{k-1}$ 为海森矩阵， $H_{k-1}=H(x_{k-1})=\frac {\partial^2f(x_{k-1})}{\partial x_i \partial x_j}$

这里比较一下梯度下降：

$x_k = x_{k-1}-\eta {f^{`}(x_{k-1})}$

梯度下降通过调整学习率来调整学习的速度，而牛顿法利用了函数曲线本身的性质，所以更容易收敛，但是牛顿法也有缺点，引入海森矩阵，增加了复杂性，当维度很高的时候，带来很大的计算压力，另外如果海森矩阵非正定会导致函数不一定下降，从而不会收敛，如果H为负定矩阵，则函数在f(x)在x0处为凸函数，会得到函数的极大值而不是极小值，如果H不定，则其逆矩阵可能不存在，导致 $-\frac {f^{`}(x_{k-1})}{f^{``}(x_{k-1})}$ 这一现无法给出有效的信息

参考1

参考2

海森矩阵和牛顿法
这个概念和方法的引入是为了求解凸优化问题海森矩阵：函数的二阶导数是海森矩阵，海森矩阵经常用于牛顿法优化方法中，牛顿...
海森矩阵与牛顿法
之前在看求解优化问题的时候一直出现的两个概念，今天来记录一下泰勒展开式牛顿法牛顿法主要用用在 1. 求解方程...
拟牛顿法面面俱到(一)--牛顿插值法
这次带来的是拟牛顿法系列，本系列的目标是完全理解拟牛顿法，包括其中涉及到的知识，比如泰勒公式、海森矩阵等，泰勒公式...
Newton 法及其改进阻尼牛顿法
思想：牛顿法的思想是在函数的目标点处做泰勒展开，用二次函数来近似目标函数算法步骤：方向为负梯度方向乘海森矩阵...
正定矩阵与海森矩阵
Hermitian Matrix:复共轭对称方阵，即A=A^H，也就是a_{ij}=\overline {a_{j...
Jacobian矩阵和Hessian矩阵
偷懒排公式，直接上一个不错的博客的链接：J矩阵&H矩阵&牛顿法
局部搜索之牛顿法
除了前面说的梯度下降法，牛顿法也是机器学习中用的比较多的一种优化算法。牛顿法求方程解牛顿法又称为牛顿-拉弗森方...
西瓜书笔记01：logistic回归、决策树
logistic回归 @[回归|分类|极大似然|泰勒级数|牛顿法|Hessian矩阵|sigmoid函数] 线性模...
数学｜牛顿迭代法
牛顿迭代法（Newton's method）又称为牛顿-拉夫逊（拉弗森）方法（Newton-Raphson met...
《深度学习》笔记
Chapter 4 4.3.1 Jacobian 和 Hessian矩阵当Hessian的所有特征值都是正的牛顿法...