CycleGAN

CycleGAN

image.png

【论文】Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks https://arxiv.org/pdf/1703.10593.pdf
【主页】https://junyanz.github.io/CycleGAN/
【pytorch code】https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix
【torch code】 https://github.com/junyanz/CycleGAN

创新点：不需要配对数据就能实现图像风格的转换。

【摘要】
图片到图片的转换是一类以使用配对图片学习从输入图片到输出图片的映射为目标的视觉和图形问题。然而，对于许多任务难以获取到配对的训练数据。我们提出了一种方法可以不依赖配对数据去学习图像从X域到Y域的转换。我们的目标是去学习映射G:X—>Y ，使得G(X)生成的图像的分布和Y的分布不能使用对抗loss区别出来。因为这个映射是高度受限的，我们加上一个反向映射F:Y—>X并且引入一个循环一致性损失（cycle consistency loss）去实现 （反之亦然）。我们在几个无配对数据的任务上展示了效果，包括collection风格迁移，目标变形，季节转换，照片增强等。和几个好的方法的对比证明了我们方法的优越性。

【引论】
1873年的一个晴朗的春日，在阿让特伊附近的塞纳河畔，克劳德·莫奈在他的画架放旁看到了什么（图1，左上角）？可能是一副彩色的画面，碧绿的河面映出湛蓝的天空。莫奈用细细的线条和明亮的颜色勾勒出这副场景。
如果莫奈此时在卡西斯的小港湾里一个凉爽的夏夜呢（图1，左下角）？漫步在莫奈的画廊可以想象得到他会画出这样的场景：或许是柔和的阴影，配上重墨，再加上一些过度区域。
这些我们都可以想象的到却从来没看到过莫奈画过旁边的照片中展现的场景。我们已经知道了莫奈的画作风格。我们可以分辨出这两种画的风格差异，因此可以想象的到把一种画的风格“迁移”到另一个种画上面会是什么样的。
在这片论文中，我们展示了一种可以做到这件事的方法：抓取其中一张图像的特殊特性，并且计算出这些特性放到其他的图像上的效果，所有这些都不需要配对数据。
这个问题可以更一般地概括为图像到图像的转换,将一张给定场景的图像x，转换到另一张y。比如灰度图转彩图，图像语义分割，线条转相片（edge-map to photograph）。数年来在计算机视觉、图像处理、计算机图形学和制图学的研究产生了强大的依赖配对数据（图2左）的有监督转换系统。然而配对数据难以获取并且昂贵。

未完待续。。。