GAN 3

coursera deeplearning

一、GANs for Data Augmentation and Privacy GAN 在数据增强和隐私相关
GAN 一些应用

image.png

Data Augmentation: Pros & Cons 使用 GAN 来数据增强的优劣

image.png

GANs for Privacy GAN 与隐私

image.png

二、Pix2Pix
(1)overview

image.png

在 conditional GAN 中输入的是 noise vector + class vector
在 Pix2Pix 中输入的是 Real input 没有 noise vector

image.png

(2)PatchGAN 判别器

image.png

PatchGAN 判别器生成一个判别矩阵，矩阵中的值从 0~1 ，0 代表假， 1 代表真，标签也是一个矩阵，假为全 0 ，真为全 1 ，使用 BCE 损失函数

(3)U-Net 生成器

3.png 8.png

(4)Pixel Distance Loss Term

image.png

Adersarial Loss -> GAN Loss

image.png

(5)Pix2Pix

image.png

输入的图片和生成的图片在通道上进行连接，然后输入到判别器 PatchGAN 当中

image.png

对判别器来说，损失函数是由判别器得到的判别矩阵和标签矩阵（真实样本为全 1 ，生成样本为全 0 ）计算得到

image.png

对于生成器来说，损失函数由 BCE + Pixel Distance Loss Term 组成
其中，标签矩阵为全 1 ，目的是为了让生成图片向真实的方向前进

Pix2Pix 应用 : Pix2PixHD GauGAN

三、 Cycle GAN

1、Unpaired Image-to-Image Translation
Cycle GAN 属于 Unpaired Image-to-Image Translation 中的一种
它不需要一对一成对风格的训练样本，它只需要两种不同风格的数据集，通过无监督学习实现从一种风格变换为另一种风格，学习的是两种风格的映射，其中对于变换的两个图片
内容=共同的元素
风格=特有的元素

2、CycleGAN Overview

CycleGAN 由两个 GAN 组成，每个 GAN 都将真实图片映射为生成图片，然后将生成图片映射为原图片

image.png

生成器 & 判别器

image.png image.png image.png

判别器对生成图片和真实图片进行判别，与 Pix2Pix 类似
两个判别器的判别方向相反

3、 Cycle Consistency

Cycle Consistency Loss 是生成模型的损失函数，基本思想是求原图片变换为目标风格图片之后再变换回原图片和原图片变换之前的差值

image.png

两个 GAN 的生成器共用一个优化器，即这个损失函数是两个生成器共用的

image.png image.png

如果没有 Cycle Consistency ， GAN 模型容易陷入模式崩塌

4、 Least Squares Loss

Least Squares Loss ( MSE ) 提出是为了解决训练不稳定容易出现模式崩塌和梯度消失的问题

image.png image.png

5、 Identity Loss

Identity Loss 基本思想是不用风格变换的图片直接进行恒等变换

image.png image.png image.png

6、 CycleGAN

image.png image.png image.png

对于 Z 判别器损失函数 :

image.png

对于 H 判别器损失函数 :

image.png

其他 unpaired image-to-image translation 模型 : UNIT 、 Multimodal UNIT (MUNIT)

UNIT

image.png