随着深度学习的发展，卷积神经网络所带来的对图像高层特征的抽取使得图像风格和图像内容的分离成为了可能，Neural Style开辟了计算机与艺术的道路，可以将图片风格化为名家大师的画风。
原始图像 + 风格图像 = 风格化图
A Neural Algorithm of Artistic Style的核心思想是将将图像的content和style提取出来，然后用一个随机输入的噪声图像通过卷积网络去学习逼近图像的content和style，通过loss函数去约束，整体处理过程耗时较长。content特征一般在比较高的level有更好的体现，计算content loss的时候一般使用比较高的某一层特征，而style特征则分布在多层，所以在计算loss损失的时候，style loss一般取多层特征。
损失函数
content 是关于图像中物体在整幅图像的分布，因此让high-level content接近，就可以得到和原图类似的content。style是图像的纹理信息，纹理信息在high-level中的表示就是features map值之间的相关性。features map是矩阵，而Gram matrix是用来衡量向量相关程度的。Gram Matrix实际上可看做是feature之间的偏心协方差矩阵，在feature map中，每一个数字都来自于一个特定滤波器在特定位置的卷积，因此每个数字就代表一个特征的强度，而Gram计算的实际上是两两特征之间的相关性，哪两个特征是同时出现的，哪两个是此消彼长的等等，同时，Gram的对角线元素，还体现了每个特征在图像中出现的量，因此，Gram有助于把握整个图像的大体风格。有了表示风格的Gram Matrix，要度量两个图像风格的差异，只需比较他们Gram Matrix的差异即可。
利用噪声图像重构风格图
主要缺点：1.模型的训练过程较长，通过噪声图片来融合学习的content和style，所以耗时较长；2.此方法只可以学习一种风格，要学习新的风格需要重新训练模型。
网友评论