论文地址：https://arxiv.org/abs/1811.01504?context=cs.CV
该论文是在自动编码网络的框架上所做的工作，主要提出：
- 多描述多尺度扩展的编码网络
- 多描述解码网络
- 熵估计网络，用于监督编码网络
- 一对标量量化器
- 对像素区域提出距离损失函数（只在描述生成以及量化的时候用）
introduction
本文是基于量化的多描述编码所提出的，所以对量化器部分有着重介绍。
相比较基于量化的MDC与基于变化的MDC，基于采样的MDC方法更为灵活，更容易与编码器相兼容。
Framework
网络的基础层构成.png
基础层包括：卷积层，扩展卷积层，反卷积层，ReLU层，激活层，ResNet卷积层以及级联扩展卷积。
大体框架.png
编码过程：图像经过编码网络生成三个映射标签（指标映射以及一个特征张量），量化之前先将两个指标映射与特征张量相乘得到两个新的特征映射。这步是根据下篇论文的扩展操作所得：https://arxiv.org/abs/1801.04260
之后经过两个量化器量化，经过One-hot得到两个张量，经过反量化在通过解码器得到最后的重构。
多尺度扩展编码网络.png
三个解码网络.png
熵估计网络.png
正向过程中所需的量化器为硬量化（硬量化不可微分）：
量化之后的张量经过one-hot编码得到多了一维的张量，即得到了最后的生成描述。
量化之后的张量：
在反向传播过程中，使用软量化函数的推导来将梯度从MD解码器网络反向传播到MD编码器网络。
解码过程：解码的one-hot张量可以转换回三维张量，然后，这些张量由相应的标量反量化器处理。反量化器表示为：
之后经过边重构解码网络以及中心重构解码网络得到最终的压缩图像。
问题
1.为何要经过扩展操作得到特征张量，直接生成两幅特征张量不可以吗
2.此处没有介绍熵估计网络，没有看明白其的具体作用
（文中的解释如下：为了准确预测每个描述的编码成本，我们使用了两个熵估计网络，而不需要网络参数共享。需要从另一篇论文找答案）
学习到的知识
one-hot编码：处理离散特征的编码方式。同一时间只有一个激活点，只有一个特征不为0。
比如：“性别”这个特征，有“男、女”两个特征值，对其进行one-hot编码，“男”编码为{1 0}，“女”编码为{0 1}
Function
MAE（mean absolute error）能更好的规范图像压缩，使的压缩图像在训练过程中更好的向真实图像发展。
此论文中用边重构图像与中心重构图像的MAE loss 作为多描述重构损失的第一部分：
SSIM能够保证生成的描述之间细节上的差异性。结构差异性损失函数作为多描述重构损失的第二部分：
距离损失函数是为了解码图像的差异，含蓄的监视量化器的学习以及生成图像描述的多样性：
因为生成描述的时候没有共享参数，所以用了熵估计预测每个描述的损失。每个描述的估计编码成本分别表示为R(V a)和R(V b)。整个多描述的压缩损失为：
Dreg是卷积神经网络参数的正则化术语
Network
扩展卷积可以极大地放大图像的接收域，但可能会引入网格化效应。《Multi-scale context aggregation by dilated convolutions》
为了解决语义分割问题，将三层级联扩展卷积定义为混合扩展卷积。《Understanding convolution for semantic segmentation》
编码网络：本网络结构中采用了三层级联扩展卷积网络，在此之前先用了一层卷积层。除了每一个级联扩展卷积网络后面都跟着一个步幅为2的55的下采样卷积层。为了充分利用多尺度上下文信息，第一个级联网络之后加了一个步幅为4的33的下采样卷积层。同时，第二个级联网络之后是一个步幅为2的3*3的下采样，对输出特征降采样。之后，用三个卷积层将不同尺度的各样特征串联起来得到一个特征映射以及两个指标映射。
解码网络：由三个反卷积层和两个ResBlocks组成。前两个反卷积层后面都跟着一个ResBlock。在每个ResBlock中使用16个带有跳跃连接的ResConv层。
熵估计网络：包括6个3D卷积层。其中四个卷积层是跳跃的级联模式，是3D-Resconv结构上的。
网友评论