姓名：任俊颖
学号：22011211086
学院：通信工程学院
【嵌牛导读】本文介绍了遥感图像变化检测的基于时空注意力的一种具体方法
【嵌牛鼻子】遥感图像 变化检测 自注意力
【嵌牛提问】基于时空注意力的变化检测主要针对什么科学问题？它是怎么解决这个问题的？
由于变化检测需要使双时相图像上相同的像素一一对应所以需要经过几何配准这一预处理步骤。然而由于光照角度的变化会导致配准误差超过真实物体的变化，这对变化检测算法提出了挑战。从图中可以看出，双时相图像的对比度和亮度以及建筑的空间纹理都不相同。在双时相图像中，由于太阳位置的变化在建筑物的边界处产生了不同的阴影。在配准的双时相图像中，对应建筑的边缘处配准误差十分明显。导致在未改变的建筑物的边界处引起伪变化。
图1 (a) 时空注意力的图示(红线表示选定的时空注意力)
(b) 误配准的说明(放大以获得更好的视图)
研究目标与内容
本方法的研究动机来自以下两个方面：(1)由于变化检测数据是由时空两个维度的向量组成的，找到不同时空位置之间的关系可以提高精度。例如，通过利用在不同时刻和位置的同类对象之间的关系，在亮度不同的情况下，网络也可以为这些对象生成相似的特征表示。利用不同时刻对象之间的全局关系，可以减少配准误差的影响。对相邻像素之间的时空关系建模提高了变化检测的精度。而自注意机制对建立长期时空相关性是有效的。因此在特征提取过程中加入了一个变化检测自注意力模块，从而生成一个更强大的网络。
(2)由于变化的对象可能具有不同的尺度，从合适的区域提取特征可能更好地表示不同尺度的对象。可以将从不同大小的区域提取的特征结合起来，得到多尺度的特征。因此我们将图像平均划分为一定尺大小的子区域，并在每个子区域中引入自注意力机制，来挖掘该区域下地物的时空关系。通过将图像划分为多个尺度的子区域，我们可以获得多个尺度下的特征表示，以更好地适应地物的尺度变化。由于自注意模块被整合到多尺度的金字塔结构中，因此将此结构称为金字塔注意力模块。最后在不同的尺度上捕捉了时空相关性，生成更准准确的特征表示来适应不同大小的地物。
采用孪生全卷积网络提取双时相图像特征图。之后自注意力模块通过利用不同时间和位置的单个像素之间的时空相关性来更新这些特征图。在计算嵌入空间中某个位置的信号时，该位置利用时空相关性来关注其他重要位置。嵌入空间可以分为高度、宽度和时间维度。为简单起见，将嵌入的空间简单表示为时空。如图所示，红色边框内像素(属于建筑)的信号更关注整个时空内同类像素，说明同类像素具有较强的时空相关性;这种相关性可以被利用来产生更具鉴别性的特征。
不同于以往基于深度学习的遥感CD算法。之前双流方法分别处理来自不同时间的双时间图像序列，而没有参考任何有用的时间相关性。以往基于分类的方法也没有充分利用时空相关性。基于RNN的方法引入了RNN融合了来自不同时间的一维特征向量。但是特征向量是通过CNN从非常小的图像patch中获得的。一方面，由于图像patch很小，提取的空间特征非常有限;另一方面，没有充分利用不同位置、不同时间的单个像素之间的时空相关性。
针对上述缺陷设计了一个CD自注意机制来利用时空中像素之间的关系。所采用的自注意力模块可以捕获远程的、丰富的时空相关性，从而获得对光照变化和配准误差具有鲁棒性的特征。此外，我们将自注意力模块集成到金字塔结构中，以捕获不同尺度的时空依赖性。
总体结构
以双时相遥感图像为输入，目的是为输出与输入图像具有相同大小的变化检测图M，在每个像素上分类预测出一种变化类别。关注的是二分类任务，也就是输出标签只有0，1的区别。
图2 (a) STANet的Pipeline。(b) 特征提取器 (c) 基本时空注意力模块(BAM)
(d) 金字塔时空注意模块(PAM)
网友评论