https://github.com/eladrich/pixel2style2pixel
通用的图像翻译框架pixel2stylepixel，第一个pixel是指输入图像，style是指latent code，第二个pixel是指输出图像，即将输入图像先转成latent code，再将这个latent code生成目标图像：以一个encoder产生一系列style特征，然后以一个预训练的Style GAN Generator来生成对应风格的图片。因而能用于多种下游任务：图像隐编码latentcode；人脸转正；超分；根据草图和分割图合成图片。
example
pSp architecture
由ResNet backbone提取特征金字塔，对18种目标风格，一个全卷积降采样的map2style网络用于从对应的特征图提取风格特征，具体的，style0到2来自最小的特征图，style3-6来自中层特征图，style7-18来自最大的特征图。每个map2style网络产生512维的特征，送入StyleGAN Generator。
训练encoder的损失函数包括(找到真实图像在latent domain中的latent code)：
像素损失
像素级L2损失
感知损失
感知损失
身份损失
身份损失
此外，还添加正则损失。
网友评论