科研：

BN层

Batch Normalization是由google提出的一种训练优化方法。参考论文：Batch Normalization Accelerating Deep Network Training by Reducing Internal Covariate Shift

个人觉得BN层的作用是加快网络学习速率，论文中提及其它的优点都是这个优点的副产品。

How to use BN?

Normalization是数据标准化（归一化，规范化），Batch 可以理解为批量，加起来就是批量标准化。

先说Batch是怎么确定的。在CNN中，Batch就是训练网络所设定的图片数量batch_size。

Normalization过程，引用论文中的解释：

输入：输入数据x1..xm（这些数据是准备进入激活函数的数据）

计算过程中可以看到,

1.求数据均值；

2.求数据方差；

3.数据进行标准化（个人认为称作正态化也可以）

4.训练参数γ，β

5.输出y通过γ与β的线性变换得到原来的数值

在训练的正向传播中，不会改变当前输出，只记录下γ与β。

在反向传播的时候，根据求得的γ与β通过链式求导方式，求出学习速率以至改变权值

(特征图里的值，作为BN的输入，也就是这9个数值通过BN计算并保存γ与β，通过γ与β使得输出与输入不变)

Why to use BN?

为了防止梯度爆炸或梯度弥散

When to use BN?

OK，说完BN的优势，自然可以知道什么时候用BN比较好。例如，在神经网络训练时遇到收敛速度很慢，或梯度爆炸等无法训练的状况时可以尝试BN来解决。另外，在一般使用情况下也可以加入BN来加快训练速度，提高模型精度

在finetune Resnet时，网络结构文件中BatchNorm层的参数要注意：

1.在训练时所有BN层要设置use_global_stats: false（也可以不写，caffe默认是false）

2.在测试时所有BN层要设置use_global_stats: true

影响：

1.训练如果不设为false，会导致模型不收敛

2.测试如果不设置为true，会导致准确率极低

(亲测，测试时为false时acc=0.05，为true时acc=0.91)

区别：

use_global_stats: false是使用了每个Batch里的数据的均值和方差；

use_global_stats: true是使用了所有数据的均值和方差