姓名：任俊颖
学号：22011211086
学院：通信工程学院
【嵌牛导读】本文介绍了一种端到端的超像素增强遥感图像变化检测方法的结果与分析
【嵌牛鼻子】遥感图像 变化检测 超像素 度量学习
【嵌牛提问】变化检测的研究现状和待解决问题是什么？该如何解决这些问题？
研究目标与内容
基于上述问题，本文针对超高分辨率图像提出了一种端到端的超像素增强变化检测方案，即ESCNet。将超像素分割技术与深度卷积神经网络结合形成了端到端的可训练框架。利用超像素采样网络(SSN)来划分超像素，通过基于UNet的孪生网络来提取多级变化信息，计算多时相图像特征之间的差异。为了充分利用超像素，提出了超像素化模块，该模块减少了由SSN网络划分的超像素中地物的可变性。此外，提出一种自适应超像素合并(ASM)模块，根据相似度矩阵更新超像素特征来确定最佳的超像素数量。ASM模块具备可微的性质，可以很容易的合并到神经网络方法中。最后，使用像素级优化模块来校正未对齐的超像素边界并发现微小的变化对象。
通过将超像素分割与端到端框架中的深度神经网络结合，来促进基于对象的变化检测方法和深度学习方法的协同集成。据我们所知，ESCNet是第一种端到端可训练RSCD方法，它结合了基于像素的卷积网络和基于超像素的操作。
模块一：SSNs
SSN由两部分组成：1）基于CNN的特征提取器和2）可微的简单线性迭代聚类（SLIC）。给定图像特征为输入，输出是像素-超像素关联Q和提取的高维特征。根据Q∈，像素表示I∈和超像素表示S∈之间的变换是可能的，其中N是像素数，M是超像素个数，C是通道数。在提出SNNs方法的文章中，将每个像素表示为5维特征，其中将特征作为SSNs网络的输入，位置和颜色缩放因子分别表示为。通过调整这两个缩放因子可以在颜色特征相似性和空间紧凑性之间转移关注点，这显著影响生成的超像素边界。
特征提取器由多组3*3的卷积层、BN层和ReLU激活函数组成，还采用了两个2*2的最大池化层用于下采样来增加感受野的大小。为了融合多尺度的特征，在较浅的网络层和较深的网络层之间做了跳跃连接。除了最后一层，每层的输出通道数为K。最后一层的输出通道数为(C-5)。在SSN网络的最后将输入的的5个通道与输出的(C-5)个通道concat。最后得到了C维的输出特征。这些提取的像素特征被用于可微的SLIC来迭代计算超像素特征及像素-超像素关联。具体来说，可微SLIC用平均的像素特征来初始化超像素特征。
对于像素特征I和超像素特征S在第t次迭代中的第p个像素和第i个超像素之间的软连接(soft association)可以表示为
根据列归一化的Q和行归一化的Q，可以将像素级特征映射为超像素特征，聚类以期望-最大化（EM）方式或软k-means过程进行，Q和S交替更新（2）和（3）进行v次迭代。注意，I的值在迭代中从未被（4）更新。这是因为在每次迭代期间都重新将特征提取器的直接输出复制给像素特征I，防止了模型性能的退化。
模块二：端到端的超像素增强CD网络
1、总体框架
如图1所示，将Image1和Image2双时相图像的XYLab特征输入两个权重共享的SSNs来分别估计像素-超像素关联Q1和Q2。SSNs特征提取器的输出特征和被输入基于UNet的双分支变化检测网络。该变化检测网络提取了4个层级的特征，X1、X2、X3、X4。之后X4被送入超像素化模块，生成超像素化的特征，其中每个像素内部的空间可变性更低。ASM模块是超像素化模块中可选的模块，用于更新和增强超像素表示。经过超像素化模块后，对于向右的数据流，经一卷积层和sigmoid函数处理来估计中间的输出概率；向上的数据流，多级特征X1、X2、X3、X4用于在上执行像素级优化，得到最终的输出概率图。为了更好地利用有意义的CNN特征，在深度监督损失函数中使用了，并且使用阈值0.5对进行二值化以获得CD结果。
基于UNet的双分支CD网络如图3所示，双时间特征由一对孪生Encoder单独处理，2×2最大池化用于下采样，以挖掘多尺度特征。此外，在编码器和解码器之间引入了跳跃连接，其中来自两个分支的编码特征的绝对差值与一个分支的解码特征concat。Concat的目的为在整个解码过程中利用背景信息和不同层级上的变化信息。使用转置卷积层将每次解码的特征图的大小加倍，编码器-解码器特征在四个层级上融合。编码器和解码器都由残差块组成，缓解深度网络的退化问题。
将和作为后续网络的输入的原因为，被用于SSNs中的迭代聚类过程，因此可以认为这两种特征更适合与超像素一起被利用，另外将SSNs的输出特征作为CD网络的输入保证了可以以端到端的方式训练整个框架。
模块三：超像素化模块
将基于像素的变化检测方法用于超高分辨率图像面临的主要挑战为1)结果中常出现假阳性像素点2)检测到的变化区域不能很好的匹配上物体边界。提出了超像素化模块来解决这些问题，该模块有两个输入，最终融合双时相图像的结果。本文认为，在超像素的参与下，可以减少类内差异同时保留对象边界。
超像素化模块可以被分为4步，如图所示。首先，分别使用Q1、Q2将X4映射为两个超像素表示。这一过程中，属于同一超像素的像素特征被加权平均为超像素特征。由此可以减弱噪声像素的影响。
进一步来说，Q1和Q2分别由Image1和Image2图像得到，因此会得到不同的超像素表示，这使得来自多时相的边缘感知信息能够被集成。这一步被视为超像素引导的池化操作。接着在可选的ASM模块中，相似的超像素被合并以减少过分割的影响。第3步将超像素特征映射会像素特征，该步骤的目的是对齐两个时相的超像素化特征，以便允许后续能逐像素操作。根据公式(3)(4)，第3步输出的特征如下所示。
最后，在步骤4中，我们在像素特征空间中融合重映射的多时相特征和。加权策略也可以应用于融合中，以平衡不同时间的重要性。然而，在所提出的方法中，我们简单地对]和执行逐点加法，并获得融合的特征图。
图5示意性地展示了所提出的超像素模块的一个示例，使用了RGB图像作为多通道特征图，以实现更直观的可视化。显然，从图5中可以看出，超级像素模块的最终输出成功地捕获了双时态对象特征，并保留了主要边缘。由于处理结果包含均匀的彩色块，看起来与计算机图形中的像素化效果非常相似，因此我们将其称为“超像素化”模块。
模块四：自适应超像素合并
超像素数量的选择与尺度问题密切相关，并且由于遥感图像存在多尺度地物，因此超像素数量的选择至关重要。过多的超像素会导致大对象被严重过度分割，而过少的超像素则会导致对小对象分割不充分。而SSNs采用SLIC作为聚类算法，在整个迭代过程中需要固定数量的超像素。因此，需要一种自适应方法来自动确定输入图像的最佳超像素数，而不违反端到端学习。
像素级优化
由于其局部均匀化效应，超像素在去除像素噪声方面非常有用。所提出的超像素化模块和ASM模块有助于在深度网络中利用超像素。然而，仍有两个突出问题需要解决。
1）在大多数OBCD方法中，在所有情况下，分割对象和真实地物完美的一一对应通常是不可能的。对于基于超像素的方法，这种效果不佳的对应性是特别明显的，因为超像素本身在大多数时间都是图像的过度分割，并且它们的边界在图像对象内可以是任意的。同时，RSCD的变化通常是由地面物体的出现和消失引起的，在不存在地物的时间阶段描绘地物非常具有挑战性。上述原因会导致双时相超像素之间的描绘不一致。尽管从超像素内平均获得了去噪效果，但超像素模块并不能防止双时相图像之间超像素的不一致。因此，可以看出，图5中的融合输出中存在模糊效果，这可能导致预测中的虚假变化或漏检。
2）两个特征缩放因子的选择在控制生成的超像素的边界和形状方面起着关键作用。当相比太大时，很难识别仅占几个像素的小区域或道路等狭长物体。在相反情况中，与超像素相关联的像素可能在图像中没有空间连接。考虑到遥感图像的复杂性，因此对特征缩放因子的选择往往是次优的，因为没有值适合所有可能的输入，并且信息的丢失不可避免。
面对这两个问题，我们建议利用基于像素的神经网络的优势。具体而言，我们设计了像素级优化模块，以优化融合结果中的模糊对象边界，定位可能被超像素分割忽略的真实变化区域，并进一步提高检测精度。
为了合并多尺度上下文信息，在细化模块中有四个并行分支，每个分支从CD网络中获取超像素化特征图和四级解码特征图之一，即X1、X2、X3和X4。如果必要，会对解码特征图进行上采样以适应]的大小，将它们与连接，然后传播到Conv-BN-ReLU序列中。通过将传递到所有四个分支，我们可以尽可能保留超像素化的效果。为了避免高计算成本，我们通过在每个像素处对四个分支和的输出张量求和来聚合它们，而不是通过通道级联。最后，在另外两个卷积层和softmax激活函数之后，可以计算概率图。的第一个通道表示没有变化的概率，而第二个通道表示变化的概率。
网友评论