一、二次代价函数

y代表实际值，其实就是label。y-a即误差，误差的平方和除以样本数。

第二个公式是表示只有一个样本时的代价函数。σ（）是激活函数，输出前需要经过一个激活函数。W是权值，X是上一层的信号值，b是偏置值，最终得到z，z是信号的总和。

第一个式子：对w权值求偏导；（复合函数求偏导）

第二个式子：对b偏置值求偏导。

其中，z表示神经元的输入，sigma表示激活函数。w和b的梯度跟激活函数的梯度成正比，w和b的大小天正得越快，训练收敛得越快。

sigmoid函数即S形函数，值域为[0,1]。在B点出现梯度消失。

假设我们的目标是收敛到1，A点的值为0.82离目标比较远，梯度比较大，权值调整比较大。B的值为0.98离目标比较近，梯度比较小，权值调整比较小。调整方案合理。

假设我们的目标是收敛到0，A点的值为0.82离目标比较远，梯度比较大，权值调整比较大，调整方案合理。B的值为0.98，梯度比较小，权值调整比较小，调整方案不合理。

二、交叉熵代价函数

策略更加合理，故相比于二次代价函数，模型收敛更快。

三、对数似然代价函数

与softmax函数搭配使用。softmax函数是将数值转化为概率。

策略更加合理，故相比于二次代价函数，模型收敛更快。

四、优化代价函数的实战训练

"ctrl+？"组合键进行多行的注释。

第四天的最后一段代码中，更改这个部分。

如果不加tf.reduce_mean()，则准确率很低。

迭代结果：

迭代三次，准确率就达到了90%以上。使用二次代价函数时（见第四天的笔记），需要迭代7次准确率才能达到90%以上。

五、过拟合及优化

过拟合意味着，曲线虽然经过了所有的样本点，但是对于新的样本点，过拟合曲线完全不经过该新的样本点，且相差很大。对于正确拟合的情况，新的样本点会落在正确拟合的曲线上。

防止过拟合的方法：

（1）增加数据集

（2）正则化方法：在代价函数后加一个正则项。

C0为之前的代价函数，如二次代价函数等。lamda为系数，用于调节正则化的权重。

（3）Dropout：在迭代过程中，使得部分神经元不工作。

连接一个神经元的权值都是0（或者很小）的话，这个神经元可以认为是不存在的。这样就减小了网络的复杂程度。

六、Dropout代码

一般出现过拟合是因为网络模型过于复杂，已知的数据公式太少导致的

之前构建神经网络时的初始化的方式都是初始化为0，这并不是一种很好的初始化的方式。

W = tf.Variable(tf.truncated_normal([784,10],stddev=0.1)) #权值

b = tf.Variable(tf.zeros([2000])+0.1)

在码代码过程中遇到的问题：

keep_prob这个变量报错：NameError: name 'keep_prob' is not defined。

原因：应该先定义占位符，说明清楚变量类型。

keep_prob = tf.placeholder(tf.float32)

代码如下：代码中定义了多层隐藏层，为了出现过拟合。

需要跑很多时间。结果如下：

其中train_acc是训练集的准确度，意义不大；重点关注还是test_acc即测试集的准确度。

发现test_acc和train_acc相差较大。

我们把训练集的keep_prob改成0.7，计算准确率部分的test_acc和train_acc中的keep_prob不变，仍然为1。代码如下：

可以从结果上看到，使用了drop_out之后，虽然收敛速度变慢，但是test_acc和train_acc非常接近。未使用drop_out前，test_acc和train_acc相差很大。

过拟合：模型运用在训练数据集时效果很好，但是用于新的测试样本时效果不好，偏差较大。

当训练样本量很少而测试样本量很大的时候，很容易出现过拟合。这时候就需要用到drop_out。

七、Optimizer

tensorflow中一共有如下几种optimizer：

下图为一个梯度下降法的示意图：

W：要训练的参数

J（W）：代价函数

即代价函数对W求导

SGD:随机梯度下降法

Momentum：

NAG（Nesterov acclerated gradient）:

Adagrad:

基于随机梯度下降法。

观察公式，比如抽到的狗的照片越多，分母越大，学习率越小。

RMSprop:

RMS是均方根的缩写。（Root Mean Square）

Adadelta:

Adam:

更新参数的部分跟Adadelta和RMS类似。

各个算法的对比见下文中的动图：里面的GIF图非常有意思。

https://zhuanlan.zhihu.com/p/32626442

八、优化器在TensorFlow中的应用

使用的代码基于交叉熵时的代码。

#train_step = tf.train.GradientDescentOptimizer(0.2).minimize(loss) #0.2是学习率

train_step = tf.train.AdadeltaOptimizer(1e-2).minimize(loss)