√反向传播：训练模型参数，在所有参数上用梯度下降，使NN模型在训练数据
上的损失函数最小。
√损失函数（loss）：计算得到的预测值 y 与已知答案 y_的差距。
损失函数的计算有很多方法，均方误差MSE是比较常用的方法之一。
√均方误差MSE：求前向传播计算结果与已知答案之差的平方再求平均。
formula.png
用 tensorflow 函数表示为：
loss_mse = tf.reduce_mean(tf.square(y_ - y))
√反向传播训练方法：以减小loss值为优化目标，有梯度下降、momentum优化
器、adam优化器等优化方法。
这三种优化方法用 tensorflow 的函数可以表示为：
train_step=tf.train.GradientDescentOptimizer(learning_rate).minimize(loss)
train_step=tf.train.MomentumOptimizer(learning_rate, momentum).minimize(loss)
train_step=tf.train.AdamOptimizer(learning_rate).minimize(loss)
√学习率：决定每次参数更新的幅度。
网友评论