美文网首页
Generative Adversarial Nets

Generative Adversarial Nets

作者: Junr_0926 | 来源:发表于2018-10-05 14:28 被阅读0次

1. 前言

作者在这篇论文中提出了GAN,也就是生成对抗网络。
在GAN中,生成模型和一个对抗模型相对应,使用一个模型来学习判断一个样本来自于model distribution,还是来自于data distribution。生成模型可以看做一组伪造数据的人,discriminative模型看做为经常,来检测出伪造。训练过程就使得这两个部分一起提高它们的水平,相互竞争。

2. 介绍

当我们使用多层perceptrons来表示模型的时候,可以用一个生成器分布p_g,先验噪音:p_z(z),使用G(z; \theta_g)表示到数据空间的映射。同时定义第二个多层的perceptron D(x; \theta_d)输出一个标量,表示样本x来自于数据而不是p_g的概率。训练目标如下,训练D来最大化分类的概率,同时训练G来最小化损失log(1-D(G(z)))

训练

在实际应用中,当对D训练时,想要达到最优化不仅需要非常多的计算循环,而且很可能导致严重的过拟合。因为,对D进行k步,对G进行1步,来不断循环迭代。
算法如下:

算法1

3. 理论

3.1 p_g = p_{data}

Proposition 1. 当G固定时,最优的D是:

(2)
证明从最优化D的函数: 3
可以判断D的最优值

根据上面的结果,我们可以将公式(1)最小化的目标表达为:


4

Theorem 1. 上面C(G)的全局最小值当且仅当p_g=p_{data}时得到,在这个点,C(G) 为 -log4
容易证明当p_g=p_{data}的时候,C(G)为-log 4

作者在4.2节证明了算法1的收敛性。

相关文章

网友评论

      本文标题:Generative Adversarial Nets

      本文链接:https://www.haomeiwen.com/subject/twzfaftx.html