CapsNet

作者: SmallRookie | 来源:发表于2019-01-05 23:30 被阅读1次

胶囊网络

原文：Dynamic Routing Between Capsules
源码：https://github.com/XifengGuo/CapsNet-Fashion-MNIST

数据集

Fashion-MNIST数据集由70000张 $28*28$ 大小的灰度图像组成，共有10个类别，每一类别各有7000张图像。数据集划分为两部分，即训练集和测试集。其中，训练集共有60000张图像，每个类别各有6000张；测试集共有10000张图像，每一类别各有1000张。

胶囊网络结构

网络模型

采用CapsNet网络模型，该网络由两部分组成：编码器和解码器。前3层网络为编码器，即卷积层、PrimaryCaps层和DigitCaps层；后3层网络为解码器，即三层全连接层。

编码器

编码器以 $28*28$ 大小的Fashion-MNIST图像作为输入，以 $16*10$ 大小的矩阵作为输出。

卷积层

该层用于检测图像的基本特征。卷积核大小为 $9*9$ ，步长为1，filter数为256，激活函数为Relu。输出大小为 $20*20*256$ 。

PrimaryCaps层

该层接受卷积层检测到的基本特征，用于生成特征组合。该层共有32个PrimaryCapsules，每个PrimaryCapsules由8个卷积核为 $9*9$ ，步长为2的卷积组成。输出大小为 $6*6*8*32$ 。

DigitCaps层

该层由10个16维的DigitCapsules构成，每一个DigitCapsule对应一个类别。在DigitCapsules内部，每个输入通过 $8*16$ 的权重矩阵将8维输入空间映射至16维Capsules输出空间。输出大小为 $16*10$ 。

损失函数

$L_k = T_k \, max(0, m^+ - ||v_k||)^2 + \lambda(1 - T_k) \, max(0, ||v_k|| - m^-)^2$

其中，若真实标签 $k$ 与预测标签 $k$ 相同，则 $T_k = 1$ ，否则为0。 $m^+$ 和 $m^-$ 分别为0.9和0.1。 $\lambda = 0.5$ 用于确保训练中的数值稳定性。

$v_j = \frac{\|s_j\|^2}{1+\|s_j\|^2}\frac{s_j}{\|s_j\|}$

$v_j$ 表示第 $j$ 个capsule输出的向量。

$s_j = \sum_i c_{ij} \hat{u}_{j|i}$

$s_j$ 为高层capsules的输入。 $c_{ij}=\frac{exp(b_{i,j})}{\sum_kexp(b_ik)}$ 为耦合系数，其中 $b_{ij} = b_{ij} + \hat{u}_{j|i} \cdot v_j$ ，初始时 $b_{ij} = 0$ 。

$\hat{u}_{j|i} = W_{ij}u_i$

$W_{ij}$ 表示权重矩阵， $u_i$ 为低层capsules的输出， $\hat{u}_{ij}$ 为预测向量，可视为底层capsules的输出向量进行仿射变换。

动态路由算法

解码器

解码器由三层全连接层构成，用于重建图像，损失函数为MSE函数。训练时仅使用正确的DigitCap向量。

实现细节

初始学习率为0.001，其随迭代次数增大而衰减，batchsize为100，共100个epoch。

结果

在test数据集上最终精度为92.89%

网友评论

本文标题：CapsNet

本文链接：https://www.haomeiwen.com/subject/caljrqtx.html

延伸阅读

深度阅读

您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！