更新权重的方式

作者: chakopht | 来源:发表于2019-11-05 00:56 被阅读0次

1、SGD 梯度下降(收敛最慢稳定）

梯度下降： $\theta new$ += $\theta old$ - $\eta$ * d J( $\theta$ )

批量梯度下降：将数据集切分为多批次，分别下降取最佳值

随机梯度下降：每次取一个值进行下降

2、momentum

$m(new) = b1*m(old) - \eta *dJ(\theta )$

$\theta +=m$

设定一个惯性参数m

$\theta new += -\eta *dJ(\theta )/\sqrt{dJ(\theta )^2 }$

对错误方向添加阻力根号下损失梯度

RMSProp = AdaGrad+Momentum

对错误方向添加一个惯性

$v(new) = b1*v(old)+(1-b1)*dJ(\theta )^2$

$\theta new+= -\eta *dJ(\theta )/\sqrt{v}$

Adam是在Ada基础上对分子 $dJ(\theta )$ 以及分母 $\sqrt{J(\theta )}$ 都做一次momentum

本文标题：更新权重的方式

本文链接：https://www.haomeiwen.com/subject/ztdjbctx.html

备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！