美文网首页凸优化
凸优化(五)——回溯直线搜索

凸优化(五)——回溯直线搜索

作者: Herbert002 | 来源:发表于2016-08-08 16:55 被阅读2540次

    〇、说明

    凸优化主要学习《凸优化》(Stephen Boyd等著,王书宁等译)[1]这本书。学习过程中,对其内容的理解时有困惑,也参考一些其他书籍资料。笔者尽量将这部分知识整理地简洁明了,成此系列笔记。

    如有错误疏漏,烦请指出。如要转载,请联系笔者,hpf_2006pyy@163.com。

    一、意义

    回溯直线搜索是求解无约束凸优化问题中,调整搜索步长非常简单有效的方法,也是实际应用中常用的方法。[2]

    考虑固定步长搜索,为防止迭代震荡,一般步长值很小,很多经验值取0.01,这就导致收敛速度过慢。

    考虑精确直线搜索,其本身又是一个优化问题,如果这个优化问题很复杂,则这个搜索方法就是没有意义的。

    相比以上两种调整搜索步长的方法,回溯直线搜索则简单高效很多。

    二、回溯直线搜索

    2.1、算法

    2.2、算法解释

    2.3、参数解释

    附录

    A、参考

    [1]、《凸优化》,Stephen Boyd等著,王书宁等译

    [2]、《最优化问题中,牛顿法为什么比梯度下降法求解需要的迭代次数更少?》

    [3]、《回溯线搜索 Backtracking line search》

    B、相关目录

    凸优化(一)——概述

    凸优化(二)——凸集

    凸优化(三)——凸函数

    凸优化(四)——问题求解

    凸优化(五)——回溯直线搜索

    凸优化(六)——最速下降法

    凸优化(七)——牛顿法

    凸优化(八)——Lagrange对偶问题

    C、时间线

    2016-08-08 第一次发布

    2016-08-17 修改了一个错误公式,添加理解提醒

    相关文章

      网友评论

        本文标题:凸优化(五)——回溯直线搜索

        本文链接:https://www.haomeiwen.com/subject/risrsttx.html