第二次上机作业报告

作者: 苏格兰低地弟弟打滴滴 | 来源:发表于2019-12-30 20:46 被阅读0次

王秋皓 1901213522

非精确牛顿法

采取的选择方向的方法是Nocedal书上P 169算法7.1。函数是InexactNewton.m

我们对两种 $\eta_{k}=\min (0.5, \sqrt{\left\|\nabla f_{k}\right\|})$ 和 $\eta_{k}=\min \left(0.5,\left\|\nabla f_{k}\right\|\right)$ 算法中对应method=1和2。

终止准则采用的是 $\left\|g_{k}\right\|<10^{-5} \times \max \left\{1,\left\|x_{k}\right\|\right\}$

结果如上。

分析：1，非精确牛顿法收敛很快，很少的迭代次数能达到很高的精度，比第三次上机作业的信赖域方法还好一点。

2，出于不知道什么原因无法对第二个函数收敛。

3，什么样的ita选择似乎是不敏感的，在相同的终止条件下两个不同的选择方式迭代次数都是差不多的。

4, 在观察第三个函数的收敛情况的时候出现了如下比较有意思的情况，函数值在某个节点飙升然后又很快下降。我觉得应该是在这个点附近函数很陡峭（等高线很密集）。但是尽管函数值上升了，非精确牛顿法又很快让函数值降下来。

LBFGS（unroll）

采取的方法是参考Nocedal p178 算法7.4，对m=5 9 15 做了实验，采取的终止准则同上

结果见上图。

分析：1，和非精确牛顿方法一样，LBFGS有很好的收敛效果和收敛速度。

2，非精确牛顿里面第二个函数就没有收敛，LBFGS对这个函数的效果也很不好，按照老师给的收敛准则，会在一个区域内震荡，但不是最优解，应该是掉到一个local minima里。见下图。

3，对于收敛比较好的函数（比如后面两个），m的取值好像是不太敏感的，相差不大。

本文标题：第二次上机作业报告

本文链接：https://www.haomeiwen.com/subject/jbwmoctx.html