图像风格迁移--梵高毕加索笔下的世界

作者: 我爱大头老婆 | 来源:发表于2017-06-22 13:35 被阅读1365次

想看看梵高笔下的你吗?想看看毕加索眼中的世界吗?今天,这一切已经成为现实,接下来我就来简单介绍一下种深度学习技术来帮助大家了解计算机是真样画画的。

废话不多说,大家可以先看看实验结果:

怎么样,计算机的绘画水平可以吧。第一副图片是厦门大学最高建筑,以下四幅图片就是对应的风格图片和计算机生成的迁移图片啦,很炫酷有木有。目前该技术已经商用,国外有一款app叫prisma,就可以根据用户的需要生成相应的风格迁移图片啦,不过服务器在国外,中国好像下载app后申请服务没有响应。

下面我就简单讲讲这项技术背后的原理啦,网上已经有很多博客讲过啦,但我还是想写,毕竟菜鸡要进化啊,哈哈哈。该技术的首创者也就是“A Neural Algorithm of Artistic Style”这篇论文的一作Leon A. Gatys在研究VGG19网络的时候发现CNN网络的高层可以得到图片的结构信息,低层可以得到图片的风格信息,于是作者就想啊,把两幅图片的风格和结构结合起来不就是图像风格迁移了吗,就这样该技术横空出世,计算机从此学会了画画。

duangduangduang,敲黑板啦,先简单介绍一下VGG19,这个是一种深度学习网络,有·十九层,大概长这样:

作者使用conv4_2提取结构特征,然后使用conv1_1,conv2_1,conv3_1,conv4_1,conv5_1提取风格特征,最后把两个特征按照一定的比例相加,在加点盐啊料酒啊,还有爱心啊神马的,一副特定艺术风格的图片就诞生了,是不是棒棒的。

考虑到简书是个文艺的平台,什么损失函数,Gram矩阵都去死吧,大家可以想象有三个管道,风格图片从左边管道进去被分解成许多小碎片,结构图片从右边管道进去,用来限定生成图片的样子,然后两种内容在中间相遇,不停的迭代优化,慢慢的就产生了结合两者自身特点的风格迁移图片啦。

但是该技术有个缺点,就是太慢啊,是一个生成过程,要不停的迭代优化,直到得到满意的结果为止,同时不同的结构图片和风格图片的差异性不同,要得到满意的风格迁移图片还要调整参数,这就极大的影响了该方法的泛化性能。于是2016年,李飞飞老师的学生出手了,他们对该方法进行了优化调整,设计出了一种实时的快速风格迁移网络,大概长这样:

该网络主要训练后面彩色的那部分损失网络,一劳永逸,训练完就可以直接拿来用啦,效果也比初始方法好很多。第二种网络还没来得及仔细看,以后看完再回来详细讲吧,就酱。

相关文章

  • 图像风格迁移--梵高毕加索笔下的世界

    想看看梵高笔下的你吗?想看看毕加索眼中的世界吗?今天,这一切已经成为现实,接下来我就来简单介绍一下种深度学习技术来...

  • 图片风格转移A Neural Algorithm of Arti

    这篇论文的目的,如下图所示。把我们的图变成梵高的风格,厉害了~ 传统图像风格迁移的过程是:分析图像风格(比如说梵高...

  • [Paper Weekly]风格迁移算法:A Neural Al

    今天介绍一个好玩的东西--图像风格迁移,来自2015年图像风格迁移开山论文《A Neural Algorithm ...

  • 神经风格迁移

    前言 图像的风格迁移是计算机视觉领域最有趣的应用之一,用深度学习实现图像的风格迁移,可以分为实现神经风格迁移算法和...

  • 图像风格迁移

    用一个例子来阐述基于卷积神经网络的样式迁移方法。首先,我们初始化合成图像,例如将其初始化成内容图像。该合成图像是样...

  • 图像风格迁移

    做项目时涉及到图像风格迁移的东西,于是补了一下,用本篇博客记录之,并附上pytorch代码,以备不时之需。 所谓风...

  • 风格迁移

    风格迁移重要的两步就是风格图像的风格提取和内容图像的内容提取。 纹理合成 纹理能够描述一个图像的风格,所以风格的提...

  • 5个小故事告诉你,世界上最会营销的人是如何营销的?

    有朋友问,世界上最贵的拍卖画作,你知道是谁的作品吗?二选一,毕加索还是梵高? 我想了想,应该是梵高吧,毕竟,毕加索...

  • 《动手学深度学习》第七天2020-02-20

    https://www.boyuai.com/elites/ Task09:目标检测基础;图像风格迁移;图像分类案...

  • 《动手学深度学习》第八天2020-02-21

    https://www.boyuai.com/elites/ Task09:目标检测基础;图像风格迁移;图像分类案...

网友评论

    本文标题:图像风格迁移--梵高毕加索笔下的世界

    本文链接:https://www.haomeiwen.com/subject/jxqfcxtx.html