这个概念和方法的引入是为了求解凸优化问题
海森矩阵:函数的二阶导数是海森矩阵,海森矩阵经常用于牛顿法优化方法中,牛顿法是一种迭代求解方法,有一阶和二阶方法,主要应用在两个方面:1、求方程的根,2、最优化方法。
- 求解方程的根
当方程没有求根公式,或者求根公式很复杂而导致求解困难时,利用牛顿法可以迭代求解。牛顿法的原理是利用泰勒公式,在处展开且展
开到一阶,
整理上式可得到
由于以上用到的只是泰勒一阶展开,所以泰勒等式只是近似相等,所以求得的x并不能使完全成立。此处记这个近似解为,可以认为比更加接近,据此我们可得递推公式:
通过迭代这个式子必然可以在处收敛 - 二阶优化方法——牛顿法
牛顿法求解二阶优化问题实际上是求解的问题,可以参考二阶泰勒展开公式:
此时把想象成然后套用上面的递推公式就可以得到:
以上公式可以通过二阶泰勒公式推导得到
对于高维函数,牛顿法通用公式可以写成:
可以比较一下牛顿法递推和梯度下降法递推:
梯度下降的递推公式为:
可见,相比于梯度下降单纯用学习率来调整学习速度,牛顿法可以利用到曲线本身的信息,所以更容易收敛
牛顿法仍然适用于多变量问题求解,但由于hessian矩阵的引入增加了其复杂性,特别是当:- hessian矩阵非正定,导致了目标函数不一定下降,从而牛顿法不收敛
- hessian矩阵的维度大带来巨大的计算量。
针对这个问题,提出了很多改进方法,如拟牛顿法。还有更加深入的DFP、BFGS、L-BFGS等。
网友评论