CapsuleGAN: Generative Adversari

论文：CapsuleGAN: Generative Adversarial Capsule Network
代码：
https://github.com/Faldict/CapsuleGAN
https://github.com/akshath123/Capsule_Generative_Adversarial_Network

Abstract

我们介绍了生成对抗式胶囊网络(CapsuleGAN)，这是一个在生成对抗式网络(GAN)环境中使用胶囊网络(CapsNets)代替标准卷积神经网络(CNNs)作为判别器的框架，同时对图像数据进行建模。我们提供了设计CapsNet判别器的指南，以及更新的GAN目标函数，其中包含了CapsNet边际损失，用于训练CapsuleGAN模型。我们表明，在对MNIST和CIFAR-10数据集上的图像数据分布进行建模时，CapsuleGAN的表现优于卷积GAN，在生成性对抗性度量和半监督图像分类方面进行了评估。

Introduction

数据的生成模型(生成器)是一个具有挑战性的机器学习问题，最近引起了极大的兴趣，部分原因是生成对抗网络(GANs)及其几个复杂的变种的发明。GAN模型通常由两个神经网络组成;(1)一个生成器，它试图将从一个先验分布抽取的样本转换为从一个复杂数据分布抽取的样本，而该复杂数据分布具有更高的维数;(2)一个鉴别器，它决定给定的样本是真实的还是来自生成器的分布。这两个部分是通过对抗性游戏来训练的。GANs在建模基于真实世界数据(特别是图像)的高度复杂分布方面表现出了巨大的潜力。但是，它们的训练难度大，存在稳定性、梯度消失、模式崩溃和模式覆盖不足等问题。因此，通过使用更好的目标函数、复杂的训练策略[19]、使用结构超参数和采用经验上成功的技巧，已经开展了大量工作来改进GANs。

Radford等人提供了一套架构指南，制定了一类卷积神经网络(CNN)，此后这些网络被广泛用于创建GAN(称为深度卷积GAN或DCGAN)，用于图像数据建模和其他相关应用。然而，最近，Sabour等人[18]引入了胶囊网络(CapsNets)，作为CNNs的一个强大的替代方案，它学习了一种更等价的图像表示，对图像中物体部分的姿势和空间关系的变化(CNNs在训练过程中丢失的信息，根据设计)更加稳健。受人类视觉系统中视神经元工作机制的启发，Capsules最早由Hinton等人提出，作为局部不变的神经元群，学习识别视觉实体，并输出激活向量，既表示这些实体的存在，也表示它们与视觉任务（如物体分类）相关的属性。CapsNets的训练算法涉及到网络连续层中胶囊之间的路由机制，该机制模仿了人类大脑中负责视觉感知和理解的神经元之间的信息分级通信。

深度神经网络设计的最初直觉是模仿人脑对特征进行分层识别建模，从低级属性开始，向复杂实体发展。CapsNets比CNN更有效地捕捉到了这一直觉，因为它们有上述内置的显式机制对其进行建模。CapsNets已经被证明在MNIST数字分类和重叠数字的分割上优于CNNs.这促使人们提出这样一个问题：是否可以使用CapsNets（而不是CNNs）来设计GANs以提高其性能。

我们提出生成对抗胶囊网络(CapsuleGAN)作为在GAN框架中合并胶囊的框架。特别是，在我们的框架中，与传统使用的cnn相比，CapsNets被用作鉴别器。我们表明，CapsuleGANs在使用生成性对抗度量（GAM）对MNIST和CIFAR-10数据集的底层分布进行定性和定量建模时，以及在使用未标记的GAN生成的图像与少量标记的真实图像进行半监督分类时，CapsuleGANs比基于CNN的GANs表现更好。

本文的其余部分安排如下。第2节讨论相关工作。在第3节中，我们将简要介绍GAN和CapsNet。第4节介绍了我们的CapsuleGAN框架以及实施准则。第5节介绍了我们模型的定性和定量分析。第6节总结了本文并为将来的研究提供了方向。

Generative Adversarial Capsule Networks

GANs主要用于对图像数据和相关属性的分布进行建模，以及其他基于图像的应用，如图像到图像的翻译和从文本描述中进行图像合成。生成器和判别器传统上是按照DCGAN准则被建模为深度CNNs。我们在设计CapsuleGAN生成器时遵循了这一惯例，将其设计为深度CNN。然而，由于CapsNets比CNN具有更强的直观性和更优越的性能，我们设计了CapsuleGAN框架，在GAN判别器中加入胶囊层而不是卷积层，从根本上执行两类分类任务。

CapsuleGAN判别器在架构上与[18]中提出的CapsNet模型类似。CapsNets一般都有大量的参数，因为首先，每个胶囊都会产生一个向量输出，而不是一个单一的标量；其次，每个胶囊都有与其上一层的所有胶囊相关联的附加参数，用于对它们的输出进行预测。然而，由于两个原因，有必要保持CapsuleGAN判别器中的参数数量较少。(1)CapsNets是非常强大的模型，很容易在训练过程的早期就开始对生成器进行严厉的惩罚，这将导致生成器彻底失败或遭受模式崩溃；(2)当前动态路由算法的实现运行速度很慢。需要注意的是，第一个原因是保持CapsNet的参数数量较低，这与卷积判别器的流行设计一致，因为卷积判别器是相对较浅的神经网络，其卷积层中相对大尺寸的滤波器数量较少。

CapsuleGAN鉴别器的最后一层包含一个胶囊，其长度代表了鉴别器的输入是真实图像还是生成图像的概率。我们使用边际损失代替传统的二元交叉熵损失来训练CapsuleGAN模型，因为对于训练CapsNets效果更好。因此，CapsuleGAN的目标可以表述为公式3所示。

在实践中，我们训练发生器最小化，而不是最小化，在训练不包含任何胶囊的生成器时，这基本上消除了中的权重因子。

Discussion and Future Work

生成对抗网络是用于复杂数据分布的生成建模的极其强大的工具。正在积极进行研究，以进一步改善他们，并使他们的训练更加轻松和稳定。基于CapsNets在基于图像的推理任务上优于CNN的成功，我们提出了一种生成对抗性胶囊网络（CapsuleGAN），这是一种GAN变体，在对图像数据进行建模时，它结合了CapsNets而不是CNN。我们介绍了CapsuleGAN设计指南，以及更新的CapsuleGAN训练目标功能。我们显示，在MNIST和CIFAR10数据集上，CapsuleGAN在生成对抗性指标和半监督分类方面优于卷积GAN，具有大量未标记的生成图像和少量实际标记的图像。这表明在未来的GAN模型中设计鉴别器和其他推理模块时，CapsNets应该被视为CNN的潜在替代品。

我们计划在GAN目标内对margin loss 的使用进行理论分析。我们故意没有采用许多GAN培训技巧来公平地评估我们的贡献。本文提出的结果激励了CapsNets的使用，而不是CNNs应用于BiCoGAN等GAN变体中的编码器。我们认为这是未来研究的重要方向。

参考文献：

18. Sabour, S., Frosst, N., Hinton, G.E.: Dynamic routing between capsules. In: Advances in Neural Information Processing Systems. pp. 3859–3869 (2017)