美文网首页
Geometric GAN

Geometric GAN

作者: 馒头and花卷 | 来源:发表于2020-04-16 22:27 被阅读0次

Jae Hyun Lim, Jong Chul Ye, Geometric GAN.

概

很有趣, GAN的训练过程可以分成

  1. 寻找一个超平面区分real和fake;
  2. 训练判别器, 使得real和fake分得更开;
  3. 训练生成器, 使得real趋向错分一侧.

主要内容

在这里插入图片描述

McGAN

本文启发自McGAN, 在此基础上, 有了下文.

结合SVM

设想, GAN的判别器D(x) = S(\langle w, \Phi_{\zeta}(x) \rangle), 其中S是一个激活函数, 常见如sigmoid, 先假设其为identity(即D(x)=\langle w, \Phi_{\zeta}(x) \rangle).

McGAN 是借助\langle w, \Phi_{\zeta}(x)\rangle来构建IPM, 并通过此来训练GAN. 但是，注意到， 若将\Phi_{\zeta}(x)视作从x中提取出来的特征, 则\langle w, \Phi_{\zeta}(x)\rangle便是利用线性分类器进行分类，那么很自然地可以将SVM引入其中(训练判别器的过程.

\begin{array}{rcl} \min_{w, b} & \frac{1}{2} \|w\|^2 + C \sum_i (\xi_i + \xi_i') & \\ \mathrm{subject \: to} & \langle w, \Phi_{\zeta}(x_i) \rangle + b \ge 1-\xi_i & i=1,\ldots, n\\ & \langle w, \Phi_{\zeta}(g_{\theta}(z_i)) \rangle + b \le \xi_i'-1 & i=1,\ldots,n \\ & \xi_i, \xi_i' \ge 0, \: i=1,\ldots,n. \end{array}

类似于
\tag{13} \min_{w,b} \: R_{\theta}(w,b;\zeta),
其中
\tag{14} \begin{array}{ll} R_{\theta}(w,b;\zeta) = & \frac{1}{2C n} \|w\|^2 + \frac{1}{n} \sum_{i=1}^n \max (0, 1-\langle w, \Phi_{\zeta} (x_i) \rangle -b) \\ & + \frac{1}{n} \sum_{i=1}^n \max (0, 1+ \langle w, \Phi_{\zeta}(g_{\theta}(z_i))\rangle+b). \end{array}

进一步地， 用以训练\zeta:
\tag{15} \min_{w,b,\zeta} \: R_{\theta}(w,b;\zeta).

SVM关于w有如下最优解
w^{SVM} := \sum_{i=1}^n \alpha_i \Phi_{\zeta}(x_i) - \sum_{i=1}^n \beta_i \Phi_{\zeta} (g_{\theta}(z_i)),
其中\alpha_i, \beta_i只有对支持向量非零.

定义
\mathcal{M} = \{\phi \in \Xi | |\langle w^{SVM}, \phi \rangle + b | \le 1\}
为margin上及其内部区域的点.

在这里插入图片描述

于是
\tag{18} \begin{array}{ll} R_{\theta}(w,b;\zeta) = \frac{1}{n} \sum_{i=1}^n \langle w^{SVM}, s_i \Phi_{\zeta} (g_{\theta}(z_i))-t_i \Phi_{\zeta}(x_i) \rangle + \mathrm{constant}, \end{array}
其中
\tag{19} t_i = \left \{ \begin{array}{ll} 1, & \Phi_{\zeta}(x_i) \in \mathcal{M} \\ 0, & \mathrm{otherwise} \end{array} \right. , \quad s_i = \left \{ \begin{array}{ll} 1, & \Phi_{\zeta}(g_{\theta}(z_i)) \in \mathcal{M}\\ 0, & \mathrm{otherwise}. \end{array} \right.

训练\zeta

于是\zeta由此来训练
\zeta \leftarrow \zeta +\eta \frac{1}{n} \sum_{i=1}^n \langle w^{SVM}, t_i \nabla_{\zeta} \Phi_{\zeta}(x_i) - s_i \nabla_{\zeta}\Phi_{\zeta} (g_{\theta}(z_i)) \rangle .

训练g_{\theta}

就是固定w,b,\zeta训练\theta.

所以
\min_{\theta} \: L_{w, b, \zeta}(\theta),
其中
L_{w,b,\zeta}(\theta)= -\frac{1}{n} \sum_{i=1}^n D(g_{\theta}(z_i)),
的
\theta \leftarrow \theta+\eta \frac{1}{n} \sum_{i=1}^n \langle w^{SVM}, s_i \nabla_{\theta}\Phi_{\zeta} (g_{\theta}(z_i)) \rangle .

理论分析

n \rightarrow \infty的时候

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

定理1： 假设(D^*,g^*)是(24), (25)交替最小化解, 则p_{g^*}(x)=p_x(x)几乎处处成立, 此时R(D^*,G^*）=2.

注: 假体最小化是指在固定g^*下, R(D^*,g^*)最小，在固定D^*下L(D^*,g^*)最小.

证明

在这里插入图片描述 在这里插入图片描述
在这里插入图片描述

注：文中附录分析了各种GAN的超平面分割解释, 挺有意思的.

相关文章

网友评论

      本文标题：Geometric GAN

      本文链接：https://www.haomeiwen.com/subject/nfmjvhtx.html

      延伸阅读

      深度阅读

      • 您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

      栏目导航

      热点阅读

      关于我们|服务条款|联系我们|Geometric GAN|投稿指南|网站地图|RSS订阅|排版工具|手机版

      提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

      Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网 版权所有

      备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

      本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

      所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！