Batch Normalization

Batch Normalization 被认为是一种加速网络收敛速度的很好的方法。关于BN的原理在原论文中有很详细的介绍。网上也有很多介绍的博客。

简单来说，BN是对feature按照空间位置进行规范化。但是需要注意的是，对于CNN网络，BN的操作是比较特殊的。具体说来，对于卷积层，我们希望BN能够和卷积一样，对于feature的不同空间位置处的值具有同样的效果。为了做到这一点，我们在规范化时，对每一个feature map的所有位置进行同样的规范化操作，也就是说，对每一个feature map，我们只学习一对 alpha, beta 参数。

在实现网络时，TensorFlow 和 Keras的 Batch Normalization API 都有一个axis参数，这个轴就是说我们想往哪个轴上面进行BN操作。TF和Keras的官方文档说这个轴应该是数据的Channel。For instance, after a Conv2D layer with data_format="channels_first", set axis=1 in BatchNormalization。