美文网首页
优化:AdamOptimizer

优化:AdamOptimizer

作者: 骑鲸公子_ | 来源:发表于2018-04-23 10:53 被阅读0次
__init__

Args:

      learning_rate: A Tensor or a floating point value.  The learning rate.控制了权重的更新比率(如 0.001)。较大的值(如 0.3)在学习率更新前会有更快的初始学习,而较小的值(如 1.0E-5)会令训练收敛到更好的性能。

      beta1: A float value or a constant float tensor. The exponential decay rate for the 1st moment estimates.一阶矩估计的指数衰减率

      beta2: A float value or a constant float tensor.The exponential decay rate for the 2nd moment estimates.二阶矩估计的指数衰减率

      epsilon: A small constant for numerical stability. This epsilon is "epsilon hat" in the Kingma and Ba paper (in the formula just before

        Section 2.1), not the epsilon in Algorithm 1 of the paper.该参数是非常小的数,其为了防止在实现中除以零

      use_locking: If True use locks for update operations.

      name: Optional name for the operations created when applying gradients.

Initialization:

    m_0 <- 0 (Initialize initial 1st moment vector)

    v_0 <- 0 (Initialize initial 2nd moment vector)

    t <- 0 (Initialize timestep)

The update rule for `variable` with gradient `g` uses an optimization described at the end of section2 of the paper:

    t <- t + 1

    lr_t <- learning_rate * sqrt(1 - beta2^t) / (1 - beta1^t)

    m_t <- beta1 * m_{t-1} + (1 - beta1) * g

    v_t <- beta2 * v_{t-1} + (1 - beta2) * g * g

    variable <- variable - lr_t * m_t / (sqrt(v_t) + epsilon)

------------------------------------------------------------------------

ADAM: A METHOD FOR STOCHASTIC OPTIMIZATION

2.算法:

假定 f(θ) 为噪声目标函数:即关于参数θ可微的随机标量函数。目标:减少该函数的期望值 E[f(θ)]。其中 f1(θ), ..., , fT (θ) 表示在随后时间步 1, ..., T 上的随机函数值。

更新梯度的指数移动均值(mt)和平方梯度(vt),而参数 β1、β2 ∈ [0, 1) 控制了这些移动均值(moving average)指数衰减率。移动均值本身使用梯度的一阶矩(均值)和二阶原始矩(有偏方差)进行估计。

算法的效率可以通过改变计算顺序而得到提升,例如将伪代码最后三行循环语句替代为以下两个:

2.1 Adam 的更新规则 ADAM’S UPDATE RULE

教程 | 听说你了解深度学习最常用的学习算法:Adam优化算法?

相关文章

  • 优化:AdamOptimizer

    Args: learning_rate: A Tensor or a floating point valu...

  • Tensorflow中优化器--AdamOptimizer详解

    大多数机器学习(深度学习)任务就是最小化损失,在损失函数定义好的情况下,使用一种优化器进行求解最小损失。深度学习常...

  • Tensorflow:Adam Optimizer使用

    tf.train.AdamOptimizer官网接口文档 learning_rate: A Tensor or a...

  • AdamOptimizer Loss Null

    之前一直用的的tensorflow的AdamOptimizer,由于想要复现下别人的论文,看到论文中的参数有mom...

  • 内存优化

    内存优化、UI优化(布局优化、会只优化)、速度优化(线程优化、网络优化)、启动优化、电量优化 内存优化 内存抖动:...

  • Android进阶之性能优化

    一、性能优化分类 布局优化 绘制优化 内存泄漏优化 响应速度优化 ListView优化 Bitmap优化 线程优化...

  • 性能优化

    内容优化 服务器优化 Cookie优化 CSS优化 javascript优化 图像优化

  • Android开发艺术探索之性能优化笔记

    Android性能优化 一,优化内容 布局优化、绘制优化、内存泄漏优化、响应速度优化、ListView优化、Bit...

  • Android性能优化

    Android性能优化包括布局优化、绘制优化、内存优化、线程优化、响应速度优化、Bitmap优化和ListView...

  • 对于手游的优化

    给手游做优化,无非就CPU性能优化、内存性能优化、资源优化、GPU优化、IO优化、网络优化、耗电优化这些,为此汇总...

网友评论

      本文标题:优化:AdamOptimizer

      本文链接:https://www.haomeiwen.com/subject/oxyklftx.html