EZ | 在遥感场景分类中使用的暹罗卷积神经网络 | 03

    III. 实验研究

为了验证我们推出的模型的有效性，我们在三个广泛使用的数据集上做了实验，数据集分别是：NWPU-RESISC45^[20], UC Merced Land-Use^[27], 和 SIRI-WHU ^[28]。我们的暹罗模型在一台PC上训练完成(该计算机配备了3.7GHz的多核CPU & 16G内存和两块1080的GPU)。

A. 数据集

UC Merced Land-Use data set ^[27]容纳了2100张图像，包括21个陆地场景，每个场景100张，每个图像都是像素大小，分辨率是每个像素点0.3米，图像使用RGB来显示彩色。

SIRI-WHU data set ^[28]是一个包含12个类别的Google图像数据集，每个类别有200张图片，每个图片大小为，分辨率是2米。

NWPU-RESISC45 data set ^[20]是一个开源的数据集，在遥感领域广泛使用，包含有45个类别，每个700张图片，每个图片大小为，颜色是RGB格式。

B.工作细节

Krizhevsky et al. ^[10]推出了AlexNet，Simonyan and Zisserman ^[12]推出了 VGG-16，He et al.^[9]推出了ResNet_50，这三个成功的CNN模型已经在计算机视觉的不同领域取得了很大的成功。我们的工作利用ImageNet数据集上预先训练好了的这三个模型作为我们暹罗网络的CNN架构。我们用一个卷积层取代了最后的全连接层，这个卷积层包含了连接到输出的 m 个核，还有一个 向量的CNN模型，这里的 m 意思是一个数据集中场景的数量。在卷积层后面添加了一个Softmax单元，最后得到归一化输出，输出的向量大小为。训练的最大值被设定到120层，最后10层的训练率则被设定为0.0001。三个数据集上 Batch 的大小则设置为36，张量(momentum)是0.9，权重衰减是0.0005，我们把参数 τ 设置为1。

在训练之前，所有的图像都被裁剪成了像素的方块，为了随机使用图像，我们把整个数据集打乱了。在训练中，为了适合VGG-16和ResNet_50，所有的训练图像都被做成的像素，面向AlexNet的图像则被裁剪成。通过进行随机裁剪，我们改善了训练数据的多样性并减少了背景(噪声)因子的权重，这么一来，模型的稳定性就有所增强。为了训练我们的暹罗模型，设置了面向鉴别Loss的参数λ₁和面向证实Loss的参数λ₂，还有对于正则化的参数λ₃，这三个重要的参数都对场景分类的表现起着重要作用。在这里，我们分别设定λ₁={1, 0.5}，λ₂={0.5, 0.05, 0.01},λ₃={0.01, 0.001}，经过大量实验，这样设置{λ₁=1, λ₂=0.05, λ₃=0.001}之后得到了最好的结果。在我们之后的培训中，我们把鉴别Loss的权重分配为1，验证Loss设置为0.05，正则化项则设置为0.001，采用随机梯度下降来更新网络的所有参数。使用AlexNet，VGG-16，ResNet_50三种CNN模型作为我们暹罗卷积神经网络的比较方法，我们使用总体准确度(OA)和Kappa系数来评估场景分类的表现。

C.结果

我们所做的工作训练百分比为20％，50％和80％，我们把培训百分比成为TP，在Tab.1中显示了NWPU-RESISC45, UC Merced Land-Use, and SIRI-WHU数据机上的分类结果。很明显可以看到，我们的暹罗CNN比单一的CNN具有更好的分类性能，Tab.1表示ResNet_50及其暹罗模型发分类性能不如VGG-16和VGG-16结构的暹罗网络，对于SIRI-WHU数据集的训练百分比为20％。ResNet_50包含了很多的参数，在给定的数据集规模如此之小的情况下，有可能产生过拟合现象，和其他结构相比，AlexNet和以AlexNet为基础的暹罗网络性能最差。比起VGG-16和ResNet_50，VGG-16的层数更少，极大地限制了特征表示的能力。在NWPU-RESISC45上的分类精度比其他两个数据集上要差，这是因为NWPU-RESISC45数据集更总图像数量远大于UC Merced Land-Use和SIRI-WHU数据集，此外，NWPU-RESISC45在场景多样性和图像变化方面更丰富(物体姿态、视点、外观、照明、背景等多方面^[20])，这就使得这个数据集的判别特征表示更有挑战性。

Tab.1 在NWPU-RESISC45，UC MERCED LAND-USE和SIRI-WHU数据集上OA（％）和KAPPA（％）还有执行时间(以秒为单位)的比较

    IV.结论

在此篇文章中，推出了一个在遥感场景分类中使用的结合了分类网络和鉴别网络的暹罗神经网络。此外，我们还对CNN进行了正则化，提高了分类性能。对于这三个遥感数据集进行综合的测试并与现有的技术进行比较，证实了提出的暹罗神经网络的有效性。在未来，我们将注意整合CNN的多层特征^[14]并研究一下基于多目标的优化方法，以期降低复杂度并提高泛化能力^[29]。