总体思路
下采样会损失细节信息,但其在网络中是必要的,因为可以减少网络参数,增加感受野的大小,捕捉到更加高阶的语义信息。
生成pooling和上采样的unpooling的索引用于抠图的细节边缘恢复。
模型主要基于MobileNet V2, 轻量化。
参考
超分辨领域的Efficient Sub-pixel Convolution(periodic Shuffling)
Indexed Pooling(IP)
- max pooling and average pooling are both special cases of IP.
- 生成的index map和feature map进行逐点相乘就可以得到pooling的结果
Indexed Upsampling(IU)
反卷积所用的kernel对每块区域都是一样的,而IU进行上采样时对每块区域使用不同的kernel(使用差异权重产生不同的index)。这点可以理解为IU其实是对feature map里数值的响应,feature的数值和原图的边缘细节高度相关,因此IU所产生的索引能更精确对应到相应位置上。
待更新
网友评论