TF笔记 - 损失函数

tf.nn.relu()
tf.nn.sigmoid()
tf.nn.tanh()

NN复杂度: 多用NN层数和NN参数的个数表示
层数 = 隐藏层的层数+1个输出层
总参数=总W+总b

NN优化
损失函数loss
学习率learning_rate
滑动平均ema
正则化regularization

损失函数loss: 预测值y与已知答案y_的差距

• NN优化目标: loss最小
  ** Mean Squared Error
  ** 自定义
  ** Cross Entropy

均方误差mse: MSE(y, y_)
loss_mse = tf.reduce_mean(tf.square(y_-y))

√交叉熵(Cross Entropy):表示两个概率分布之间的距离。交叉熵越大,两个概率分布距离越远,两个概率分布越相异;交叉熵越小,两个概率分布距离越近,两个概率分布越相似。
交叉熵计算公式:H(y_ , y) = −∑y_ ∗ log y

用 Tensorflow 函数表示为:
ce= -tf.reduce_mean(y_* tf.log(tf.clip_by_value(y, 1e-12, 1.0)))

ce=tf.nn.sparse_softmax_cross_entropy_with_logits(logits=y, labels=tf.argmax(y_, 1))
cem = tf.reduce_mean(ce)