美文网首页
梯度下降

梯度下降

作者: 尚恩_3295 | 来源:发表于2019-07-30 10:43 被阅读0次

    我的理解:
    求优化命题的解
    梯度:是高维空间的各个方向的变量导数
    导数:一维时的梯度
    下降:一般为求最小值用到

    梯度下降.PNG

    导数对应方向:
    (<0):对应X轴负方向损失增大,故属性应该往反方向运动。
    (>0): 对应X轴正方向损失增大,故属性应该往反方向运动。
    下降速度(学习率):可以自己设置,但容易影响,导致出现损失函数值更大的情况。

    问题2:

    也有可能出现搜索到局部最小值,不是全局最小值。
    解决方法:随机化起点 ,可能找到。

    要搞线性可分的

    相关文章

      网友评论

          本文标题:梯度下降

          本文链接:https://www.haomeiwen.com/subject/lwyhrctx.html