姓名：邓复元
学号：17020120041
【嵌牛导读】：GAIT: Gradient Adjusted Unsupervised Image-To-Image Translation
【嵌牛鼻子】：对现有翻译算法的改进
【嵌牛模块】：改进的模块，仿真结果，数据演示
【嵌牛正文】论文题目：GAIT: Gradient Adjusted Unsupervised Image-To-Image Translation
会议名称：2020 IEEE International Conference on Image Processing (ICIP)
分析：
这篇论文所讨论的图像到图像的翻译是一类视觉和图形问题，其目标是学习输入图像和输出图像之间映射。他可以应用到广泛应用程序中，例如收集样式转移，对象变形，季节转移和照片增强。
文中提到的CycleGan指的是循环生成对抗网络，它的主要想法是训练两对生成器-判别器模型以将图像从一个领域转换为另一个领域，在这过程中我们要求循环一致性。即在序列地应用生成器后，我们应该得到一个相似于原始L1 损失的图像。因此我们需要一个循环损失函数（cyclic loss），它能确保生成器不会将一个领域的图像转换到另一个和原始图像完全不相关的领域。
但是这种方法存在缺陷：
容易改变物体的背景，在需要几何变化的任务上表现一般。所以图像生成需要能够处理多样、更极端的变换，尤其是几何变换；另外，使用监督学习也许可以增进模型在细节上的准确性。
就是在这样的背景下，作者提出了改进方法：
1、通过定义剃度调整损失函数，在平移后强制保留梯度。这种损失功能有助于防止背景失真。
2、 通过提高定量性能的梯度调整常数来增强或减小原图像的梯度
3、 准备水母-海克尔数据集，该方法有效性在该数据集上得到了验证。
总的来说，作者通过调整梯度损失函数来保持图像的背景信息不被改变，选择性的对图像进行了翻译。让图像在平移过程中也能不损失梯度。
梯度调整损失定义为目标图像的Sobel响应与原图像调整后的Sobel响应之间L2范数。该方法的实现采用了CycleGan方法中的体系结构。采用了Johnson等人提出的神经网络作为生成网络。图像分辨率最好为256x256.采用Isola等人提出的、Patch-Gan网络作为鉴别器网络。
作者用大量的数据进行了训练，从论文的结果来看，该改进方法确实对原有的结构进行了优化，提高了翻译成功率。
网友评论