上节课讲到了内容代价函数,今天来讲一下风格代价函数。
风格代价函数衡量的是两张图之间风格的相似程度,那么问题来了,什么是风格呢?
我们前几节课讲到了关于卷积层不同层之间的代表联系,越浅层的代表越细节的东西,比如说我们之前看到的分类,有的是寻找黄色的,有的是寻找条纹的,不同的通道对应不同的匹配项。
那么对于风格来说,比如《星空》也许就会把转圆圈跟白色线条这两种元素联系起来。联系起来的意思就是,当图片对应的这两个通道的某个点被同时激活,就代表他们同时拥有这两种特征。
从这个点出发,我们就可以对风格函数进行计算了。
首先我们定义Gkk’函数,代表了某张图片的k与k'通道对应点的乘积之和,乘积之和越大,则代表他们关联性越强。
然后我们把风格图片模型和生成图片的模型同时进行计算,这样就得到了两个模型的值,当我们评估生成模型的值的时候,只需要把这个差值作为损失函数进行计算即可,差值越小,则代表他们的风格越相近。
在计算损失函数的时候,还可以对他们进行归一化的操作,或者是在前面乘上一个超参数。
这个就是我们得到的风格代价函数完整的式子了,结合我们之前使用的内容代价函数,结合起来就是整个风格迁移的函数,在风格代价函数跟内容代价函数前面都需要加上一个超参数,来代表他们不同的权重。
网友评论