abstract
我们提出了一种基于特征聚合的简单而有效的深层树结构融合模型，用于解决问题。 我们认为，通过有效地聚合特征，相对简单的网络仍然可以很好地处理严格的图像去除问题。 首先，为了捕捉雨的空间结构，我们使用膨胀卷积作为我们的基本网络块。 然后，我们设计了一个树形结构的融合架构，该架构部署在每个块（空间信息）和所有块（内容信息）中。 我们的方法基于相邻特征包含冗余信息的假设。 这种冗余阻碍了新表示的产生，并且可以通过分层融合相邻特征来减少。 因此，所提出的模型更紧凑并且可以有效地使用空间和内容信息。 对合成数据集和真实数据集的实验表明，我们的网络可以用更少的参数实现更好的去除结果。
1.introduction
深度学习方法可以侧重于结合领域知识，以简化通用网络的学习过程，或者设计新的网络架构以进行有效的建模表示。这些工作不会对特征本身的结构进行建模以进行消除。 在本文中，我们表明特征融合可以改善单个图像的去除和减少参数的数量，如图1所示。在本文中，我们提出了一个深层树状结构的层次融合模型。 所提出的树结构融合操作被部署在每个扩展的卷积块中并且跨越所有块，并且可以探索空间和内容信息。 所提出的网络易于通过使用标准CNN技术来实现，并且针对该问题具有比典型网络少得多的参数。
2. Proposed method
图片.png
图2显示了我们提出的分层网络的框架。 我们采用多尺度扩张卷积作为每个网络块内的基本操作，以学习多尺度雨结构。 然后，设计块内和块之间的树形结构融合操作以减少相邻特征的冗余。 此操作使网络能够更好地探索和重新组织宽度和深度的要素。 网络的直接输出是残差图像，这是在现有的去除方法中使用的常见建模技术，以便于学习。 最终的去除结果是估计残差和雨天图像之间的差异。 我们在下面更详细地描述我们提出的架构。
2.1. Network components
我们提出的网络包含三个基本网络组件：一个特征提取层，八个扩张卷积块和一个重建层。 特征提取层旨在从输入彩色图像中提取基本特征。 该层的操作定义为
图片.png
与典型的图像噪声不同，雨条纹在空间上很长。 因此，我们在基本网络块中使用扩张卷积来捕获此结构。 扩张的卷积可以增加感受野，增加上下文区域，同时通过将相同的滤波器扩展到不同的尺度来保持分辨率。 为了减少参数的数量，我们在每个块中使用一个具有不同扩张因子的卷积核。 通过以下方式获得每个扩张卷积块内的多尺度特征
图片.png
2.2. Tree-structured feature fusion
在本节中，我们将详细介绍我们提出的树形结构特征融合策略。 在，并行融合结构直接添加了不同扩张因子的所有特征图。 相比之下，我们设计了一个树形结构的操作，融合了相邻的特征。 我们使用1×1卷积来允许网络自动执行此融合。 如图3所示，[36]的并行结构可以看作是这种树形结构融合的一个例子，其中方程（5）被求和代替。
我们在每个基本块和整个网络中采用和部署这种分层特征融合。 这允许信息传播类似于ResNet [14]，信息融合类似于DenseNet [17]。 它还将提供一个可以减少参数和内存使用的稀疏结构。 融合操作定义为
图片.png
其中Z1和Z2是具有相同尺寸的相邻特征，concat表示连接。 W卷积核是尺寸为1×1的内核，用于融合Z 1和Z 2。 在融合之后，产生的Z具有与Z 1和Z 2相同的尺寸。 如图2所示，通过在每个块内并跨越所有块使用该融合操作，网络在宽度和深度上都具有树形结构表示。 我们基于相邻特征包含冗余信息的假设来设计该策略。
图片.png
为了说明这种融合操作的价值，我们在图4中显示了学习的块内特征图。在图4（a）和（b）中，我们显示了在第一个块中用扩张因子3和4生成的相邻特征图。。 可以看出，两个特征图具有相似的外观，因此包含冗余信息。 图4（d）显示了使用等式（5）的融合特征图。 很明显，这些融合的特征更具信息性。 雨和物体细节都突出显示。
树形结构融合也用于块，我们在图5中针对第三和第四块进行了说明。 从图5（a）和（b）可以看出，两个特征图具有相似的内容，因此来自相邻块的特征仍然是多余的。 如图5（d）所示，与两个输入特征相比，融合特征映射不仅在其高频内容中保持相似，而且还生成新的表示。 此外，与直接添加相比，如图4（c）和5（c）所示，使用所提出的分层融合可以生成更有效的空间和内容表示。
我们在图6中显示了这种冗余的统计分析。图6（a）和（b）显示了由不同膨胀因子产生的相邻特征之间的差异的统计。很清楚，相邻的特征是相似的，表示信息的重复，如图4（a）和（b）所示。这种冗余也存在于块之间，如图6（c）和（d）所示。这是因为对于这个回归任务，更深层的特征图的分辨率与输入图像相同，这意味着更深的特征在全局内容中没有显着变化[10,36,25]。
这与需要汇集操作提取高级语义信息的高级视觉问题形成对比[23,14]。在一定程度上，随着网络的深入，全球内容的冗余将持续存在，从而也促进了这一方向的融合。相应的融合特征具有显着变化，如图6所示。平均值出现偏移并且标准偏差变大，表明融合特征去除了冗余空间信息，如图4（d）和5（d）所示。
2.3. Loss Function
mse和ssim
网友评论