胶囊网络

---

原文：Dynamic Routing Between Capsules
源码：https://github.com/XifengGuo/CapsNet-Fashion-MNIST

---

数据集

Fashion-MNIST数据集由70000张大小的灰度图像组成，共有10个类别，每一类别各有7000张图像。数据集划分为两部分，即训练集和测试集。其中，训练集共有60000张图像，每个类别各有6000张；测试集共有10000张图像，每一类别各有1000张。

胶囊网络结构

网络模型

采用CapsNet网络模型，该网络由两部分组成：编码器和解码器。前3层网络为编码器，即卷积层、PrimaryCaps层和DigitCaps层；后3层网络为解码器，即三层全连接层。

编码器

编码器

编码器以大小的Fashion-MNIST图像作为输入，以大小的矩阵作为输出。

卷积层

该层用于检测图像的基本特征。卷积核大小为，步长为1，filter数为256，激活函数为Relu。输出大小为。

PrimaryCaps层

该层接受卷积层检测到的基本特征，用于生成特征组合。该层共有32个PrimaryCapsules，每个PrimaryCapsules由8个卷积核为，步长为2的卷积组成。输出大小为。

DigitCaps层

该层由10个16维的DigitCapsules构成，每一个DigitCapsule对应一个类别。在DigitCapsules内部，每个输入通过的权重矩阵将8维输入空间映射至16维Capsules输出空间。输出大小为。

损失函数

其中，若真实标签与预测标签相同，则，否则为0。和分别为0.9和0.1。用于确保训练中的数值稳定性。

表示第个capsule输出的向量。

为高层capsules的输入。为耦合系数，其中，初始时。

表示权重矩阵，为低层capsules的输出，为预测向量，可视为底层capsules的输出向量进行仿射变换。

动态路由算法

解码器

解码器

解码器由三层全连接层构成，用于重建图像，损失函数为MSE函数。训练时仅使用正确的DigitCap向量。

实现细节

初始学习率为0.001，其随迭代次数增大而衰减，batchsize为100，共100个epoch。

结果

在test数据集上最终精度为92.89%