【深度学习】深入理解Batch Normalization批标准

【深度学习】深入理解Batch Normalization批标准化

BN在CNN上的使用

上面所说的是BN对于每一个神经元都做处理，对于卷积神经网络来说呢？比如某一层卷积层的维度是：1001006，如果对每一个神经元都进行BN的话，那就需要600万×2的参数，这是相当恐怖的，所以其实卷积神经网络使用BN的时候，也做了权重共享的策略，把一张feature map当做一个神经元来处理。
比如某层的特征维度是[n,c,h,w]。CNN中可把 c 个 feature map 中的每一个，看成是一个神经元来处理。每个feature map，BN层可以得到一对可学习的参数，它们是利用n个样本的共n×h×w个像素值的均值和方差得到的。正向的标准化过程，就是对n个样本的某一 feature map 的所有像素点做仿射变换标准化。