9.1 引言

在确定搜索方向时，最速下降法只利用了一阶导数（梯度）。这并不是最高效的。因此引入牛顿法，它同时使用一阶和二阶导数来确定搜索方向。给定一个迭代点之后，首先构造一个二次型函数其与目标函数在该点处的一阶和二阶导数相等，以此可以作为目标函数的近似表达式;接下来求该二次型函数的极小点，以此作为下一次迭代的起始点。重复以上过程，以求得目标函数的极小点。这就是牛顿法的基本思路。如果目标函数本身就是二次型函数那么构造的近似函数与目标函数就是完全一致的。否则如果目标函数不是二次型函数那么近似函数得到的极小点给出的是目标函数极小点所在的大体位置。

在一次迭代中，牛顿法可以分为两步：
1.求解，得到；
2.确定下一个迭代点
第一步要求解一个n维的线性非齐次方程组

9.2 牛顿法性质分析

在单变量的情况下，如果函数的二阶导数 $f''<0$ ，牛顿法无法收敛到最小点。多变量时，如果目标函数的黑塞矩阵非正定，牛顿法的搜索方向也不一定是下降方向。
但牛顿法的一大优势在于没如果初始点离极小点比较近，那么将表现出相当好的收敛性。（收敛阶数为无穷大）

9.3 Levenberg-Marquardt 修正

如果黑塞矩阵 $F(x^{(k)})$ 不正定，那么搜索方向 $d^{(k)} = -F(x^{(k)})^{-1}g^{(k)}$ 可能不是下降方向，因此引入 Levenberg-Marquardt修正以解决这一问题。确保每次产生的方向是下降方向，修正后的迭代公式：
$x^{(k+1)} = x^{(k)} - (F(x^{(k)} + \mu_kI)^{-1}g^{(k)})$