论文：BRAIN TUMOR TYPE CLASSIFICATION VIA CAPSULE NETWORKS
代码：https://github.com/changspencer/Tumor-CapsNet
没发现与原始Capsule网络有什么本质上的不同，不推荐阅读。
通过胶囊网络对脑肿瘤类型进行分类
本文拟实现以下4个目标：
（i）针对脑肿瘤分类问题采用CapsNets并设计一个改进的体系结构，以最大程度地提高分类准确性；
（ii）根据一组真实的MRI图像调查CapsNets的过拟合问题；
（iii）探索CapsNets是否能够为全脑图像或仅对分割的肿瘤提供更好的拟合；
（iv）为CapsNet的输出开发可视化范例，以更好地解释所学的功能。
框架
与原始Capsule网络几乎一摸一样，红圈部分是本质不同的地方，其他的不同皆是由于数据集的区别引起的。
不同之处在于它在卷积层中具有64个特征图，而不是256个
-
输入到模型的是MRI图像，该图像从512×512降采样为64×64，以减少模型中的参数数量并减少训练时间
-
第二层是具有64×9×9过滤器且步幅为1的卷积层，这导致了尺寸为56×56的64个特征图
-
第二层是主胶囊层，由步长为2的256×9×9卷积形成。该层由32个尺寸为8的“组件胶囊”组成，每个组件都有大小为24×24的特征图（即，每个Component Capsule包含24×24本地化的单个胶囊）
-
最终的胶囊层包括3种胶囊，称为“ ClassCapsules”，每种类型的候选脑瘤都有一种。这些胶囊的尺寸是16
-
解码器部分由三个完全连接的层组成，分别具有512、1024和4096个神经元。我们注意到，最后一个完全连接的层中的神经元数量与输入图像中的像素数量相同，因为目标是最大程度地减少输入图像和重构图像之间的平方差之和。
网络的输入
可以使用两种类型的图像作为上述胶囊网络的输入
- 可以使用整个脑组织作为输入
- 可以先分割肿瘤区域，然后再将这些区域用作分类模型的输入。
Capsules倾向于对输入图像中的所有内容进行建模，因此对于具有杂项背景的图像，Capsules的效果不佳。因此，我们希望将分割好的肿瘤区域送入到网络中可以获得更好的效果。
实验效果
1. 测试不同种类的Capsule网络体系结构。
我们更改了原始框架的不同组件，并计算了预测准确性。表1概述了获得的结果。根据这些结果，将特征图的数量从256（与原始体系结构的情况相同）减少到64，可以实现最高的准确性。
不同种类的Capsule网络体系结构
2. 评估Capsule网络中的总LOSS。
Capsule网络由两部分组成：CapsNet loss和解码器 loss。前者计算未分类错误；后者与重建部分有关，并使用输入图像和重建图像之间的平方误差进行计算。我们已经训练了10个epoch，并计算了每个epoch结束时的三个损失，如图所示。可以观察到，训练开始时速度更快，总损失主要取决于CapsNet损失
提议架构的10个epoch内每个时期的loss值
3. 与常规的CNN进行比较。
在为Capsule网络选择最佳架构后，我们将其分类精度与相同数据集上的常规CNN进行了比较。该CNN的层构造如下:
• Convolutional layer with 64×5×5 filters and strides of 1.
• 2×2 Max-Pooling.
• Convolutional layer with 64×5×5 filters and strides of 1.
• 2×2 Max-Pooling.
• Fully connected layer of 800 neurons.
• Fully connected layer of 800 neurons.
• Fully connected layer of 3 neurons
我们比较了胶囊网络和CNN的大脑图像和分割肿瘤。对比结果如图3所示。基于这些结果，可以观察到CapsNet在两种输入类型上的表现都优于cnn。如前所述，胶囊往往能解释输入图像中的一切，甚至是背景，考虑到大脑MRI图像是从不同角度拍摄的，如矢状和冠状，背景有很多变化。因此，CapsNet对脑图像的处理不如分割后的肿瘤图像好，这可能是CapsNet结构相对于以分割后的肿瘤作为输入，对脑图像精度较低的原因之一。尽管如此，CapsNet的结果优于CNNfor脑瘤的分型，表明胶囊网络优于CNNs。CapsNets成功提供更好的脑瘤分类结果的原因之一是，CapsNets比CNNs处理样本数量更少的数据集。
CapsNet和CNN对大脑和分割的肿瘤图像的准确性
最后，我们研究CapsNet的最后一层（称为ClassCap）的输出，该向量是包含姿势特征的向量，但是CapsNet决定了自己学习哪些特征。因此，为了提供更好的解释性，一种方法是对它们进行调整，并尝试使用已设置弱化的向量来重建输入图像（通过进行调整，我们指的是向原始向量添加小数）。当我们可视化这些调整后的向量时，一个人可以识别/捕获学习特征的性质。图4说明了一些结果以及它们似乎与什么类型的特征有关。每一列代表使用调整后的功能的一个特定的重构输入。例如，在第二列中学习到的特殊功能似乎代表了肿瘤的大小，因为对该功能进行了调整已经改变了大小。同样，第三列似乎与肿瘤的宽度有关
网友评论