基于批量标准化（Batch Normalization）的梯度求

作者: Thunder_Storm | 来源:发表于2020-02-22 12:01 被阅读0次

问题来源：cs231n [Assigment 2 - Batch Normalization]
什么是批量标准化，本篇不再去阐述，这里推荐一篇笔者觉得讲的很详细的博客:https://blog.csdn.net/qq_41853758/article/details/82930944
在实际操作中，通过批量标准化，可以极大的提高神经网络的准确率和训练速度，是提升自己模型的一个重要方法。本篇将对批量标准化进行推导，求得反向传播梯度。

批量标准化公式： $\hat{x}=(x-\mu)\left(\sigma^{2}+\epsilon\right)^{-1 / 2} \tag{1} \label{eq1}$

其中 $\epsilon$ 的作用是防止分母为0。
输出： $y=\gamma \hat{x}+\beta \tag{2}$
$\gamma$ 和 $\beta$ 都是传入的参数，可以调节输出范围。当 $\gamma=\left(\sigma^{2}+\epsilon\right)^{1 / 2},\beta=\mu$ 时，就可以将 $\hat{x}$ 还原为 $x$ 。
为了推导的准确性，这里给出更严谨的表达式： $\hat{x_{k l}}=\left(x_{k l}-\mu_{l}\right)\left(\sigma_{l}^{2}+\epsilon\right)^{-1 / 2}$
其中： $\begin{array}{c}{\mu_{l}= \frac{1}{N} \sum_{p} x_{p l}} , {\sigma_{l}^{2}=\frac{1}{N} \sum_{p}\left(x_{p l}-\mu_{l}\right)^{2}} \end{array},k=1...N,l=1,...,H$
这里以上是前向传播的过程，比较难以理解的是反向传播过程
即求 $\frac{d \mathcal{L}}{d \gamma}， \frac{d \mathcal{L}}{d \beta}， \frac{d \mathcal{L}}{d x}$ ，我们先尝试着来求第三项
$\frac{d \mathcal{L}}{d x} = \left(\begin{array}{ccc} {\frac{d \mathcal{L}}{d x_{11}}} & {\cdots} & {\frac{d \mathcal{L}}{d x_{1 H}}} \\ {\cdots} & {\frac{d \mathcal{L}}{d x_{k l}}} & {\cdots} \\ {\frac{d \mathcal{L}}{d x_{N 1}}} & {\cdots} & {\frac{d \mathcal{L}}{d x_{N H}}} \end{array}\right)$
由公式可知，无法直接求解，而是需要进行链式求导 $\frac{d \mathcal{L}}{d x_{i j}}=\sum_{k, l} \frac{d \mathcal{L}}{d y_{k l}} \frac{d y_{k l}}{d \hat{x}_{k l}} \frac{d \hat{x}_{k l}}{d x_{i j}} \tag{3}$
这里，我们假设 $\frac{d \mathcal{L}}{d y_{k l}}$ 已知，来求后面两项
由(2)式可以很容易出第二项为 $\gamma_{l}$ ，比较复杂的是第三项。
为了简化过程，我们将 $\hat{x_{k l}}$ 的分子分母单独拿出来求导，然后进行整合。
令 $\hat{x}_{k l}=\left(x_{k l}-\mu_{l}\right)$ ,则可以求得 $\frac{d \hat{x}_{k l}}{d x_{i j}}=\delta_{i, k} \delta_{j, l}-\frac{1}{N} \delta_{j, l}$ 其中 $\delta_{i, k}$ 的含义为，当 $i=k$ 时， $\delta$ 取值为1。这个好理解，矩阵中转化过去的元素 $\hat{x}_{i j}$ 只有对 ${x}_{i j}$ 求导的时候才不为0，第二项根据均值的公式可以得出。
现在来求分母的导数，令 $\hat{x}_{{k}l}=\left(\sigma_{l}^{2}+\epsilon\right)^{-1 / 2}$ ,则 $\frac{d \hat{x}_{k l}}{d x_{i j}}=-\frac{1}{2} \frac{d \sigma_{l}^{2}}{d x_{i j}}(\sigma_{l}^{2}+\epsilon)^{-3 / 2}$
进一步求导： $\begin{aligned} \frac{d \sigma_{l}^{2}}{d x_{i j}} &=\frac{1}{N} \sum_{p} 2\left(\delta_{i p} \delta_{j l}-\frac{1}{N} \delta_{j l}\right)\left(x_{p l}-\mu_{l}\right) \\ &=\frac{2}{N}\left(x_{i l}-\mu_{l}\right) \delta_{j l}-\frac{2}{N^{2}} \sum_{p} \delta_{j l}\left(x_{p l}-\mu_{l}\right) \\ &=\frac{2}{N}\left(x_{i l}-\mu_{l}\right) \delta_{j l}-\frac{2}{N} \delta_{j l}\left(\frac{1}{N} \sum_{p} x_{p l}-\mu_{l}\right) \\ &=\frac{2}{N}\left(x_{i l}-\mu_{l}\right) \delta_{j l} \end{aligned}$

最难的求导部分已经完成，剩下的就是整合了，整合的步骤这里省略，只给出结果。
令 $\hat{x_{k l}}=\left(x_{k l}-\mu_{l}\right)\left(\sigma_{l}^{2}+\epsilon\right)^{-1 / 2}$ ，可得：
$\frac{d \hat{x}_{k l}}{d x_{i j}}= \left(\delta_{i k} \delta_{j l}-\frac{1}{N} \delta_{j l}\right)\left(\sigma_{l}^{2}+\epsilon\right)^{-1 / 2}-\frac{1}{N}\left(x_{k l}-\mu_{l}\right)\left(x_{i l}-\mu_{l}\right) \delta_{j l}\left(\sigma_{l}^{2}+\epsilon\right)^{-3 / 2 \tag{4}}$
将 $(4)$ 带入 $(3)$ 结合第二项为 $\gamma_{l}$ ，整理求得： $\frac{d \mathcal{L}}{d x_{i j}}=\frac{1}{N} \gamma_{j}\left(\sigma_{j}^{2}+\epsilon\right)^{-1 / 2}\left(N \frac{d \mathcal{L}}{d y_{i j}}-\sum_{k} \frac{d \mathcal{L}}{d y_{k j}}-\left(x_{i j}-\mu_{j}\right)\left(\sigma_{j}^{2}+\epsilon\right)^{-1} \sum_{k} \frac{d \mathcal{L}}{d y_{k j}}\left(x_{k j}-\mu_{j}\right)\right)$
$\frac{d \mathcal{L}}{d \beta}， \frac{d \mathcal{L}}{d \gamma}$ 求解的过程更加简单，这里给出结果
$\begin{aligned} \frac{d \mathcal{L}}{d y_{j}} &=\sum_{k l} \frac{d \mathcal{L}}{d y_{k l}} \frac{d y_{k l}}{d \gamma_{j}} \\ &=\sum_{k l} \frac{d \mathcal{L}}{d y_{k l}} \hat{x}_{k l} \delta_{l j} \\ &=\sum_{k} \frac{d \mathcal{L}}{d y_{k j}}\left(x_{k j}-\mu_{j}\right)\left(\sigma_{j}^{2}+\epsilon\right)^{-1 / 2} \end{aligned}$
$\begin{aligned} \frac{d \mathcal{L}}{d \beta_{j}} & = \sum_{k l} \frac{d \mathcal{L}}{d y_{k l}} \frac{d y_{k l}}{d \beta_{j}} \\ &=\sum_{k l} \frac{d \mathcal{L}}{d y_{k l}} \delta_{l j} \\ &=\sum_{k} \frac{d \mathcal{L}}{d y_{k j}} \end{aligned}$