摘要：
从一系列相关的图像中找到相同区域的patch，那么这些patch都存在一个非常低维的子空间，那么这些patch聚类后，就能得到一个低秩矩阵(low-rank matrix)，这样的好处是可以使用ALM-ADM策略来解决图像还原问题
本文提出一种衡量patch与transmission layer之间相似性的matric，基于图像强度和梯度。
不需要依据梯度进行reconstruction，所以color shift问题可以被极大改善，更多的图像细节得以被保留
introduction
把reflection removal的问题看成 a sparse and low-rank matrix decomposition problem
图一
- SIFT-flow 对齐图片 选出一张参考图
- 利用滑动窗口在其他的图片上选取对应的patch
- 从pixel intensity和gradients两个角度衡量每组patch的相似性，然后被组合成一个matrix，最后这个matrix被分解成一个low-rank part（transmission layer）和一个sparse part（reflection layer）by nuclear norm 和 L1 norm
- 利用ALM(augmented Lagrange multiplier) 和 ADM(alternating direction minimizing)求解问题
Motivation
这些图片中的R可能相差很大，但是T几乎是保持不变的，所以当K张图被warp到同一坐标系中时，被向量化的T层可以很自然的被建模成低秩矩阵（理想情况下是秩为一的矩阵）
- image alignment
SIFT-flow 对齐图片
- patch searching
图二
绿框表示参考图中的某一个patch，然后在其余K-1张图中搜索2(K-1)张最相似的patch，由于已经做过图像对齐，所以搜索范围可大概确定在黄色方框中，因此可以大大加速搜索过程。
以往通常现在梯度领域对图像做处理，然后在用柏松积分重建，但是会造成color shift和blur，本文在patch similarity measure使用图像梯度，效果比较好
- 反射层通常比较平滑，且强度较低，所以一些明显的边缘极大可能都是属于传输层的
- 不同图像之间的反射层差别很大，所以反射层的边缘几乎不可能存在于同样的像素位置
于是我们可以大致估计参考图transmission层的梯度：
通过光强度和梯度，我们可以定义一个用来衡量两个patch之间相似性的公式：
其中表示第k个对齐图像中的第i个patch
- Sparse and Low-Rank Decomposition
把2(k-1)个patch连同参考图的的patch组成一个大的matrix I，然后把I分解成一个低秩的矩阵T（transmission layer）和一个稀疏矩阵R（reflection）
目标函数：
augmented Lagrange function optimization problem：
ALM
T,Y,R更新
- patch fusion
在对每个patch作处理后，会产生棋盘效应，此时选取一个滑动窗口W，以步长D进行滑动，，利用均值来消除边界，可以从图中看到效果
图三
Experiment
图四 数据合成
图五 合成图对比效果
图六 真实图对比效果
网友评论