在上篇Disentanglement的文献总结中,disentangling就是对latent variable进行更多的约束,也就是KL项的产生各种变体。但是VAE还有一个重构项,
更改重构项
-
Hou, Xianxu, et al. "Deep feature consistent variational autoencoder." 2017 IEEE Winter Conference on Applications of Computer Vision (WACV). IEEE, 2017.
- 这个文章将pixel level的重构,替换为 deep feature的重构。pixel level的重构在很多地方都确实有问题,转换为deep feature的重构是一种可行的思路;
-
Hou, Xianxu, et al. "Improving variational autoencoder with deep feature consistent and generative adversarial training." Neurocomputing 341 (2019): 183-194.
- 还是这位作者,把GAN加入了进来,用判别网络在deep feature上对抗训练。
- 作者显然把前人在pixel上做的工作,统统在deep feature 上做了一遍,效果还不错。这对我们是个启发,deep feature是和任务相关的,重构deep feature当然在理论上应该是有更好的表现。
-
Zemouri, Ryad. "Semi-supervised adversarial variational autoencoder." Machine Learning and Knowledge Extraction 2.3 (2020): 361-378.
- 同样是利用GAN+VAE的原理进行改进。采用两阶段的训练方法到底有啥优势?
- 这种技术名称叫做:consistency principle for deep feature.
-
Agrawal, Siddharth, and Ambedkar Dukkipati. "Deep variational inference without pixel-wise reconstruction." arXiv preprint arXiv:1611.05209 (2016).
- 这篇的名字就是说不要重构,用的NVP transformations来替换掉重构项。
- NVP transformation 是deep feature的一个替代方案。
-
Ma, Xiao, et al. "Contrastive variational model-based reinforcement learning for complex observations." arXiv e-prints (2020): arXiv-2008.
- 这篇文章是发现了VAE中存在互信息的描述,从而用contrastive loss替换掉了重构项。
- 这里和前面的不同,前面都要间接计算, 这篇文章是从数学上抛弃了这个重构项。
小结
- pixel level的重构项在无噪声,图片内容和任务相关性很高的时候表现不错。但是在有噪声,有干扰的情况下直接重构并不好。
- 替换手段是多样的。确定性的转换(deep feature)和随机性的转换(NVP)都是可行的替代方案。Ref. 5采用contrastive loss直接处理掉重构也是可行。
网友评论