缝线引导局部对齐的视差容错图像拼接（译）

一般做法：将图像对齐之后再接缝

本文：用接缝引导优化对齐；

            在此基础上，提出了一种新颖的保结构整经方法，在整经过程中保护凸曲线和线结构。

1.Introduce

        传统的图像拼接技术估计一个全局二维变换(如单应性变换)来对齐输入图像[22,3,23]。基本的假设是，这些图像是在一个固定的视角拍摄的，或者场景大致是平面的。违反这些假设将导致可视化工件，如重影或对齐不当，这些都不能由全局2D转换解释。翘曲图像与参考图像之间的这种不对齐称为视差，本文主要研究的是在较大的对偶条件下的图像拼接问题。

        对于视差较小的图像，通常采用一些空间变化的翘曲方法[25,20,19]，结合先进的图像合成技术，如煤层切割[15,2]和多波段混合[4]就足够了。然而，当从不同角度拍摄图像时，场景包含非平面或不连续的表面(通常是用户随意拍摄的情况)，由于存在较大的视差[26]，现有的大部分拼接方法都不能产生满意的拼接效果。对于视差较大的图像，全局对齐，作为一种过于简化的模型来考虑欠平衡。相反，只需要找到一个对齐模型，将产生良好的接缝缝两个图像。一个好的煤层的要求是它要么通过不突出的均匀区域，要么通过突出区域(如果后者排列良好)。：因此，问题归结为寻找这样一个无平行的局部区域进行拼接。最近的研究[11,26]提出了不同的策略来选择稀疏特征匹配的子集，这将有助于找到这些局部区域进行拼接。在这些工作中，当当前的对齐假设不令人满意时，将选择一组新的特征来生成另一种对齐。这意味着当前seam的位置及其对齐质量不会以任何方式影响新特性的选择，没有利用当前的结果来决定或指导下一步的尝试，这些现有的方法有一些限制:

        （1）新缝的质量可能确实比旧缝差;

        （2）如果视野中的场景是复杂的，那么在找到一个令人满意的场景之前，确实可能需要生成大量的对齐假设;

        （3）确定阈值设置是非常重要的，阈值设置可以有效地应用于所有图像，从而终止假设生成过程。

        本文针对存在较大视差的图像拼接问题，提出了一种基于缝导的局部对准(SEAGULL)算法。正如它的名称所示，我们通过执行缝线引导的特性权重调整，迭代地寻找良好的局部对齐。具体地说，我们根据特性当前的对齐错误(即。，对齐后两个匹配特征之间的距离)及其到当前估计接缝的距离。这种方案源于我们的观察，在视差较大的情况下，通常不希望对所有特征进行一致处理。例如，针对整个重叠区域的全局对齐的方法[20,25]经常由于视差或估计的接缝处的对齐不当而导致明显的局部失真。由此可知，在计算改进图像对齐时，对匹配较大的失配点或距当前估计接缝较远的特征进行加权(如图1所示)。我们迭代对齐优化方案的另一个动机是，当前对齐确实提供了有用的信息来指导搜索更好的seam。一般情况下，估计的接缝至少有一部分经过排列良好的无平行区域。我们有一个更好的机会获得一个改进的接缝局部扰动目前的接缝，而不是尝试一个全新的。这是一个更有效的策略，以处理大而复杂的视差场景。

        为了克服迭代式焊缝细化的局部极小问题，采用基于超像素的特征分组方法，从特征匹配子集中生成多个初始对准假设，然后，我们的缝线引导局部对齐过程进一步细化每个对齐假设。。。

2.Related work

        Homography-based methods.

        Spatially-varying warps： 引入空间变化的翘曲方法[20,19,25]来处理视差图像

        Shape-preserving methods：保形的方法

        Seam-driven stitching methods：接线缝合的驱动方法

3.Stitching algorithm

        我们将首先简要介绍我们的缝合管道，然后介绍每一步的细节。为了清晰显示，我们以两幅图像拼接为例。我们保持参考图像固定和扭曲的目标图像。通过一次添加一个图像，可以很容易地从这个管道扩展多个图像的拼接。如图2所示，我们的拼接流水线以多个局部对齐假设为输入，并对每个假设进行缝导局部对齐，得到局部最优拼接。最后一针被选为针脚最好的一针

3.1 Alignment Hypotheses Generation

（1）we first use SIFT [24] to obtain an initial set of feature matches.

（2）对目标图像进行过分割。我们的目标是将包含特征的超像素划分为几个具有代表性的超像素组。在分组之前，我们首先通过对RANSAC[9]进行单应拟合，去除每个超像素中的异常特征。

（3）我们在每个产生的超像素组中使用特征来估计局部单应性。每一个扭曲的目标图像都被看作是局部对齐的分层。

3.2 Seam-guided Local Alignment 缝合线引导的局部对齐

迭代:

        (1) feature matches are weighted according to their current alignment errors and distances to the current estimated seam. 

        (2)  the target image is warped by a novel structure-preserving warping method.

        (3) a stitching seam is estimated based on ‘colored edge images’

Adaptive Feature Weighting :

Structure-preserving Warp :

Seam Estimation :    To apply the seam cut technique [15], one first computes a difference map between the reference image and the target image in the overlapping region. -------colored edge images

To suppress the intensity difference along the estimated seam,.....

3.3 Stitching Seam Quality Assessment 缝合缝质量评估