牛顿法、拟牛顿法

摘抄：https://blog.csdn.net/lilong117194/article/details/78111779

image.png
image.png
image.png
image.png
image.png

牛顿法的优缺点总结：

优点：二阶收敛，收敛速度快；

缺点：牛顿法是一种迭代算法，每一步都需要求解目标函数的Hessian矩阵的逆矩阵，计算比较复杂。

image.png

阻尼牛顿法：

image.png
image.png

拟牛顿法：

摘抄：https://blog.csdn.net/itplus/article/details/21896619

image.png