PyTorch的十个优化器

作者：geekboy
日期：2020-3-6
准备好数据，设计好模型并选择好损失函数后，下一步就需要选择合适的优化器来进行优化，使得损失函数的值最小达到最优解。
优化器的基类-Optimizer类，在Optimizer类中定义了5个实用的基本方法。比如常见的SGD，ASGD，Rprop，RMSprop，Adam等等。

1 torch.optim.Adam(AMSGrad)

class torch.optim.Adam(params,lr=0.001,betas=(0.9,0.999),eps=1e-08,weight_decay=0,amsgrad=False)

实现Adam(Adaptive Moment Estimation)优化方法，Adam是一种自适应学习率的优化方法，Adam采用梯度的一阶矩估计和二阶矩估计动态的调整学习率。Adam是结合了Momentum和RMSprop,并进行了偏差修正。