低亮度图片增强方法：基于Retinex理论的低亮度图片增强算法2

作者: GreatSun | 来源:发表于2019-06-08 18:13 被阅读0次

本文介绍另外一篇基于Retinex理论的低亮度图片增强算法：

LIME: Low-Light Image Enhancement via Illumination Map Estimation（LIME）

关于Retinex理论的介绍和其他基于Retinex理论的低亮度图片增强算法见前篇博客。

LIME

由 Retinex理论，一幅图像可分解为亮度分量和反射分量：
$\mathbf{L}=\mathbf{R} \circ \mathbf{T}$

不同于之前介绍的两篇文章，LIME仅估计亮度分量 $\mathbf{T}$ .

目标函数为：
$\min _{\mathbf{T}}\|\hat{\mathbf{T}}-\mathbf{T}\|_{F}^{2}+\alpha\|\mathbf{W} \circ \nabla \mathbf{T}\|_{1}$

其中：
$\hat{\mathbf{T}}(x) \leftarrow \max _{c \in\{R, G, B\}} \mathbf{L}^{c}(x)$

$\mathbf{W}$ 是权重矩阵， $\alpha$ 用于平衡两项表达式， $\nabla \mathbf{T}$ 是 $\mathbf{T}$ 的一阶导数，第一项表达式用于限制估计的亮度分量 $\mathbf{T}$ 与初始亮度分量 $\hat{\mathbf{T}}$ 的距离，第二项考虑亮度分量结构的光滑性。

文章使用alternating direction minimization technique方法进行目标函数的求解，将原目标函数改写为：
$\min _{\mathbf{T}, \mathbf{G}}\|\hat{\mathbf{T}}-\mathbf{T}\|_{F}^{2}+\alpha\|\mathbf{W} \circ \mathbf{G}\|_{1} \quad \text { s.t. } \quad \nabla \mathbf{T}=\mathbf{G}$

$\mathcal{L}=\|\hat{\mathbf{T}}-\mathbf{T}\|_{F}^{2}+\alpha\|\mathbf{W} \circ \mathbf{G}\|_{1}+\Phi(\mathbf{Z}, \nabla \mathbf{T}-\mathbf{G})$

$\Phi(\mathbf{Z}, \nabla \mathbf{T}-\mathbf{G})=\frac{\mu}{2}\|\nabla \mathbf{T}-\mathbf{G}\|_{F}^{2}+\langle\mathbf{Z}, \nabla \mathbf{T}-\mathbf{G}\rangle$
其中 $\langle\cdot, \cdot\rangle$ 为矩阵的内积。 $\mu$ 为符号为正的惩罚算子， $Z$ 为lagrangian乘子。

通过ALM算法，可改目标函数分解为三个子优化问题：

求解 $T$
$\mathbf{T}^{(t+1)} \leftarrow \underset{\mathbf{T}}{\operatorname{argmin}}\|\hat{\mathbf{T}}-\mathbf{T}\|_{F}^{2}+\Phi\left(\mathbf{Z}^{(t)}, \nabla \mathbf{T}-\mathbf{G}^{(t)}\right)$
由最小二乘法可求解：
$\begin{aligned} & 2(\mathbf{T}-\hat{\mathbf{T}})+\mu^{(t)} \mathbf{D}^{T}\left(\mathbf{D} \mathbf{T}-\mathbf{G}^{(t)}\right)+\mathbf{D}^{T} \mathbf{Z}^{(t)}=0 \\ \Rightarrow &\left(2 \mathbf{I}+\mu^{(t)} \mathbf{D}^{T} \mathbf{D}\right) \mathbf{T}=2 \hat{\mathbf{T}}+\mu^{(t)} \mathbf{D}^{T}\left(\mathbf{G}^{(t)}-\frac{\mathbf{Z}^{(t)}}{\mu^{(t)}}\right) \end{aligned}$
文章中使用了快速傅立叶变换加速计算，这里不做详述，具体可见原文。
求解 $G$
$\mathbf{G}^{(t+1)} \leftarrow \underset{\mathbf{G}}{\operatorname{argmin}} \alpha\|\mathbf{W} \circ \mathbf{G}\|_{1}+\Phi\left(\mathbf{Z}^{(t)}, \nabla \mathbf{T}^{(t+1)}-\mathbf{G}\right)$
由shrinkage operation可得：
$\mathbf{G}^{(t+1)}=\mathcal{S}_{\frac{\alpha \mathbf{W}}{\mu^{(t)}}}\left[\nabla \mathbf{T}^{(t+1)}+\frac{\mathbf{Z}^{(t)}}{\mu^{(t)}}\right]$
求解 $Z$ 和 $\mu$ :
$\begin{aligned} \mathbf{Z}^{(t+1)} & \leftarrow \mathbf{Z}^{(t)}+\mu^{(t)}\left(\nabla \mathbf{T}^{(t+1)}-\mathbf{G}^{(t+1)}\right) \\ \mu^{(t+1)} & \leftarrow \mu^{(t)} \rho, \rho>1 \end{aligned}$

剩余求解过程和加速算法不做详述，具体可见原文。

$W$ 的设计：

与l2-norm一致：
$\mathbf{W}_{h}(x) \leftarrow 1 ; \quad \mathbf{W}_{v}(x) \leftarrow 1$
使用初始亮度分量作为权重：
$\mathbf{W}_{h}(x) \leftarrow \frac{1}{\left|\nabla_{h} \hat{\mathbf{T}}(x)\right|+\epsilon} ; \mathbf{W}_{v}(x) \leftarrow \frac{1}{\left|\nabla_{v} \hat{\mathbf{T}}(x)\right|+\epsilon}$
使用Relative Total Variation，权重为：
$\mathbf{W}_{h}(x) \leftarrow \sum_{y \in \Omega(x)} \frac{G_{\sigma}(x, y)}{\left|\sum_{y \in \Omega(x)} G_{\sigma}(x, y) \nabla_{h} \hat{\mathbf{T}}(y)\right|+\epsilon}$

$\mathbf{W}_{v}(x) \leftarrow \sum_{y \in \Omega(x)} \frac{G_{\sigma}(x, y)}{\left|\sum_{y \in \Omega(x)} G_{\sigma}(x, y) \nabla_{v} \hat{\mathbf{T}}(y)\right|+\epsilon}$
其中：
$G_{\sigma}(x, y) \propto \exp \left(-\frac{\operatorname{dist}(x, y)}{2 \sigma^{2}}\right)$

对亮度分量进行Gamma变换来增强亮度：
$\mathbf{T} \leftarrow \mathbf{T}^{\gamma}$
文中 $\gamma$ 设置为0.8

增强后的图片为：
$\mathbf{L}=\mathbf{R} \circ \mathbf{T}$

使用BM3D算法进行去噪：
$\mathbf{R}_{f} \leftarrow \mathbf{R} \circ \mathbf{T}+\mathbf{R}_{d} \circ(\mathbf{1}-\mathbf{T})$
其中 $\mathbf{R}_{d}$ 是去躁后的结果， $\mathbf{R}_{f}$ 是最终恢复的效果。