美文网首页
VAE中重构项的替换

VAE中重构项的替换

作者: 闪电侠悟空 | 来源:发表于2021-06-30 13:49 被阅读0次

    在上篇Disentanglement的文献总结中,disentangling就是对latent variable进行更多的约束,也就是KL项的产生各种变体。但是VAE还有一个重构项,

    更改重构项

    1. Hou, Xianxu, et al. "Deep feature consistent variational autoencoder." 2017 IEEE Winter Conference on Applications of Computer Vision (WACV). IEEE, 2017.

      • 这个文章将pixel level的重构,替换为 deep feature的重构。pixel level的重构在很多地方都确实有问题,转换为deep feature的重构是一种可行的思路;
    2. Hou, Xianxu, et al. "Improving variational autoencoder with deep feature consistent and generative adversarial training." Neurocomputing 341 (2019): 183-194.

      • 还是这位作者,把GAN加入了进来,用判别网络在deep feature上对抗训练。
      • 作者显然把前人在pixel上做的工作,统统在deep feature 上做了一遍,效果还不错。这对我们是个启发,deep feature是和任务相关的,重构deep feature当然在理论上应该是有更好的表现。
    3. Zemouri, Ryad. "Semi-supervised adversarial variational autoencoder." Machine Learning and Knowledge Extraction 2.3 (2020): 361-378.

      • 同样是利用GAN+VAE的原理进行改进。采用两阶段的训练方法到底有啥优势?
      • 这种技术名称叫做:consistency principle for deep feature.
    4. Agrawal, Siddharth, and Ambedkar Dukkipati. "Deep variational inference without pixel-wise reconstruction." arXiv preprint arXiv:1611.05209 (2016).

      • 这篇的名字就是说不要重构,用的NVP transformations来替换掉重构项。
      • NVP transformation 是deep feature的一个替代方案。
    5. Ma, Xiao, et al. "Contrastive variational model-based reinforcement learning for complex observations." arXiv e-prints (2020): arXiv-2008.

      • 这篇文章是发现了VAE中存在互信息的描述,从而用contrastive loss替换掉了重构项。
      • 这里和前面的不同,前面都要间接计算\mathbb{E} \log p(x|z), 这篇文章是从数学上抛弃了这个重构项。

    小结

    • pixel level的重构项在无噪声,图片内容和任务相关性很高的时候表现不错。但是在有噪声,有干扰的情况下直接重构并不好。
    • 替换手段是多样的。确定性的转换(deep feature)和随机性的转换(NVP)都是可行的替代方案。Ref. 5采用contrastive loss直接处理掉重构也是可行。

    相关文章

      网友评论

          本文标题:VAE中重构项的替换

          本文链接:https://www.haomeiwen.com/subject/safrultx.html