反向传播算法和梯度下降法的关系

反向传播算法（Back Propagation，简称BP），指的是计算loss函数的结果L对计算图中各个参数的梯度。

梯度下降法（Gradient Descent），指的是在获得梯度的前提下，怎么更新参数、参数更新多少的问题，直观理解是“知道了梯度大小和方向，要沿着梯度方向走多远”。

ref:
https://www.quora.com/What-is-the-difference-between-gradient-descent-and-back-propagation-in-deep-learning-Are-they-not-the-same-thing

https://www.quora.com/What-is-the-difference-between-backpropagation-and-gradient-descent-when-training-a-deep-learning-neural-network-Which-of-the-two-is-Tensorflow-using