作用：创建随着Step衰减的学习率
举个例子：
例子
decay step解释：走多少步就按照某个比率（衰减率）衰减一次学习率
什么叫steps？他是 梯度更新的次数，一般就是batch的数目。就是说每一个batch的数据会更新一次梯度。
所以decay steps又可以表达为，经过多少batch，才衰减一次学习率
比如decay steps是5，那么就是说，每计算5个batch的数据，更新5次梯度，衰减一次学习率，然后再输入5个batch，再更新5次梯度，再衰减第二次学习率......
作用：创建随着Step衰减的学习率
举个例子：
例子
decay step解释：走多少步就按照某个比率（衰减率）衰减一次学习率
什么叫steps？他是 梯度更新的次数，一般就是batch的数目。就是说每一个batch的数据会更新一次梯度。
所以decay steps又可以表达为，经过多少batch，才衰减一次学习率
比如decay steps是5，那么就是说，每计算5个batch的数据，更新5次梯度，衰减一次学习率，然后再输入5个batch，再更新5次梯度，再衰减第二次学习率......
指数衰减学习率tf.train.exponential_decay 这个方法的注释中有使用说明
作用：创建随着Step衰减的学习率 举个例子： decay step解释：走多少步就按照某个比率（衰减率）衰减一次...
本文标题：tf.train.exponential_decay()
本文链接：https://www.haomeiwen.com/subject/hmknyhtx.html
网友评论