美文网首页
3.最速下降法

3.最速下降法

作者: 光能蜗牛 | 来源:发表于2022-09-23 20:10 被阅读0次

根据第1节的课程我们知道多元函数的一阶泰勒展开式如下

F(X^{(k+1)})=F(X^{(k)})+J(X^{(k)})^{T}\Delta X
牛顿迭代的话是让左端为0,然后根据上式求出每次的\Delta X

而最速下降法不一样,它是拿到某个X^{k},之后直接计算该点的梯度,然后就顺着梯度的反方向开始下降,所以有很有可能走出一个锯齿形状
根据上面的表述,我们知道
这个每次迭代的增量为\Delta X = -J(X^{(k)})

相关文章

  • 3.最速下降法

    根据第1节的课程我们知道多元函数的一阶泰勒展开式如下 牛顿迭代的话是让左端为,然后根据上式求出每次的 而最速下降法...

  • 无约束最优化(二) 共轭方向法与共轭梯度法

    基本思想   之前文章最速下降法、Newton法、修正Newton法介绍的最速下降法存在锯齿现象,Newton法需...

  • 梯度下降训练线性回归(最优化2)

    实验目的 梯度下降法是一个最优化算法,通常也称为最速下降法。最速下降法是求解无约束优化问题最简单和最古老的方法之一...

  • 线性回归(机器学习4)

    实验目的 梯度下降法是一个最优化算法,通常也称为最速下降法。最速下降法是求解无约束优化问题最简单和最古老的方法之一...

  • 机器学习_梯度下降算法

    梯度下降法(Gradient descent)或最速下降法(steepest descent)是求解无约束最优化问...

  • 最速下降法 steepest descent

    思想:因为负梯度方向是下降的速度最快的方向,所以一直用这个方向迭代 算法步骤: 方向为负梯度方向,步长由一维精确线...

  • 策略梯度

    姓名:李嘉蔚 学号16020520034 【嵌牛导读】:梯度下降法是一个最优化算法,通常也称为最速下降法。最速下降...

  • 梯度下降法(gradient dectent)

    梯度下降法(英语:Gradient descent)是一个一阶最优化算法,通常也称为最速下降法。要使用梯度下降法找...

  • 凸优化(六)——最速下降法

    〇、说明 凸优化主要学习《凸优化》(Stephen Boyd等著,王书宁等译)[1]这本书。学习过程中,对其内容的...

  • 最速下降法简单分析报告

    问题分析 该问题描述如下:给定1000组数据,找到一条直线使得该直线能够最好地表达与之间的线性关系。因此,我们需要...

网友评论

      本文标题:3.最速下降法

      本文链接:https://www.haomeiwen.com/subject/teqpnrtx.html