美文网首页机器学习
图像风格迁移

图像风格迁移

作者: 西北小生_ | 来源:发表于2021-08-01 22:36 被阅读0次

    做项目时涉及到图像风格迁移的东西,于是补了一下,用本篇博客记录之,并附上pytorch代码,以备不时之需。


    图1 风格迁移示意图

    所谓风格迁移,其实是图像生成,即用两种图像生成一种结合二者内容和风格的新图像。

    如何量化生成图像的内容风格呢:
    (1)生成图像的内容,即两幅图像像素值越相同越好;
    (2)生成图像的风格,即两幅图像纹理上越相似越好。

    1.生成图像的内容

    如图1所示,给定随机图(像素随机生成)x和内容图p,以及训练好的CNN(全卷积,不含全连接),随机图输入CNN,在第l层输出的特征图为F^{l}_{ij}。内容图输入CNN,在第l层输出的特征图为P^{l}_{ij},要想使随机图通过梯度下降法更新至和内容图一样,那么我们只需要定义二者的损失函数为:
    L^l_c(x,p)=\frac{1}{2} \sum_{i,j}(F^{l}_{ij}-P^{l}_{ij})^2 \tag{1}
    此处的损失函数为误差平方损失,很容易理解,就是使二者通过同一个CNN得到的特征图的激活值误差最小。因为相同的两幅图像,输入同一CNN,在某一层输出的特征图是相同的。二者特征图的激活值越相近,那么二者像素点的值也会越相近。

    在训练过程中保持CNN的参数不变,使用梯度下降法更新输入图像:
    x=x-\lambda \frac{\partial L_c}{\partial x} \tag{2}
    即可实现随机图像更新至内容(像素点)和内容图越来越相近。

    2.生成图像的风格

    比起内容,风格是一种不容易量化的抽象特征。为了量化图像的风格,我们用纹理结构来描述不同图像的风格特征,而纹理结构可以用CNN提取的不同特征的相关性(协方差)来衡量。

    特征图F \in \mathbb{R}^{C \times H \times W}的不同通道表征着图像的不同特征,把特征图的不同通道展开写成一行,则其维度变为F \in \mathbb{R}^{C \times HW},其不同特征的相关性(协方差)用Gram矩阵表示:
    G^{L}_{ij}=\sum_k F^{l}_{ik}F^{l}_{jk}, \quad G^{L} \in \mathbb{R}^{C \times C} \tag{3}
    借用两幅图来表述这一过程:

    图2 将特征图的通道展开成一行
    图3 计算不同特征的协方差矩阵

    至此,我们已经知道了量化图像风格的方法。如图1所示,给定随机图x和风格图a,要使随机图使用梯度下降法更新至纹理和风格图相近,那么我们在CNN的第l层需要定义的损失函数为:
    L^{l}_{s}(x,a)=\frac{1}{4C_{l}^{2}W_{l}^{2}H_{l}^{2}}\sum_{i,j}(G^{l}_{ij}-A^{l}_{ij})^2 \tag{4}
    其中G^{l}_{ij}是随机图x在第l层的特征图的Gram矩阵,A^{l}_{ij}是风格图a在第l层的特征图的Gram矩阵。这里的损失函数也是误差平方损失,只不过是二者协方差矩阵的误差。输入特征进过计算协方差,由前后变化的维度即可得知损失了位置信息,但是这不影响风格的迁移。

    原论文的作者认为CNN不同层生成的风格水平不同,同时采用多个层的风格损失相结合会使生成图像效果更好:
    L_s=\sum_{l}w_{l}L^{l}_{s} \tag{5}
    其中w_{l}是不同层的风格损失的权重,是经验值(就是超参数,随便调)。

    vgg16示意图,内容损失只采用conv3_3的输出,风格损失采用conv1_2,conv2_2,conv_3_3以及conv4_3的输出

    同样的,通过保持CNN参数不变,使用梯度下降法在训练中不断更新随机图(更新方法参考公式(2)),即能使其具有风格图的纹理特征。

    3.风格迁移:

    如图1所示,风格迁移的目标是给定内容图,风格图,以及训练好的CNN,使随机图通过训练不断更新,能够即具有内容图的内容,又具有风格图的纹理,即图1中的结合图。从结果来看,我们是把风格图的风格“迁移”到了内容图上。但从过程来看,实际是一个图像生成的过程。

    这一目标实际就是以上两步(内容生成和风格生成)的结合,我们定义的损失函数就是内容损失函数和风格损失函数的加权和:
    L(x,p,a)=\alpha L_c + \beta L_s
    这里的\alpha\beta分别是内容损失和风格损失的权重,也是经验值。\alpha越大,结合图的内容就越具像,反之越模糊;\beta值越大,结合图的纹理越相近。

    同样地,和公式(2)一样,在训练过程中,保持CNN参数不变,通过反向传播,利用梯度下降法不断地更新随机图x,即可实现内容图和风格图的结合,生成图1所示的结合图。

    相关文章

      网友评论

        本文标题:图像风格迁移

        本文链接:https://www.haomeiwen.com/subject/csfcvltx.html