pix2pix

作者: 温润如玉00 | 来源:发表于2018-04-27 17:59 被阅读0次

    翻译:赵明明

    像素转像素-tensorflow
    基于Isola的pix2pix

    介绍模型实现的文章

    相关例子

    pix2pix的tensorflow实现。模型学习了输入图片到输出图片之间的映射, 就像下面这些例子(input:输入,output输出):

    这个功能基本实现是在torch上的,并不是在Tensorflow上. 这只是一个原来工作的实现,没有添加任何其他功能. 在测试时,调用了cnDNN,采用了gpu来加速.

    安装

    依赖软件

    Tensorflow 1.4.1

    依赖环境

    Linux with Tensorflow GPU edition + cuDNN

    从这里开始

    # 从github上下载这个工程git clone https://github.com/affinelayer/pix2pix-tensorflow.gitcd pix2pix-tensorflow#下载CMP Faceades 数据库(地址:http://cmp.felk.cvut.cz/~tylecr1/facade/)python tools/download-dataset.py facades# 训练模型 GPU 需要训练1-8小时, 如果用CPU就要训练很久,有你等的了python pix2pix.py \

      --mode train \

      --output_dir facades_train \

      --max_epochs 200 \

      --input_dir facades/train \

      --which_direction BtoA# 测试模型python pix2pix.py \

      --mode test \

      --output_dir facades_test \

      --input_dir facades/val \

      --checkpoint facades_train

    测试的输出是一个HTML文件 facades_test/index.html,显示了输入\输出\目标图片对

    如果你安装了Docker,你可以用Doker来运行pix2pix没有必要再安装对应的Tensorflow版本:

    # 训练模型python tools/dockrun.py python pix2pix.py \

          --mode train \

          --output_dir facades_train \

          --max_epochs 200 \

          --input_dir facades/train \

          --which_direction BtoA# 测试模型python tools/dockrun.py python pix2pix.py \

          --mode test \

          --output_dir facades_test \

          --input_dir facades/val \

          --checkpoint facades_train

    数据库与模型训练

    本程序需要的数据格式与原来的pix2pix一样, 就是需要把输入输出图片做成这个样子:

    例如:

    论文中放出一些可用的数据. 用这个脚本可以下载 tools/download-dataset.py. 下面图表中,每个数据训练好的模型也在旁边, 但是这些模型需要对应版本的pix2pix.py程序:

    数据库例图

    python tools/download-dataset.py facades

    python tools/download-dataset.py cityscapes 

    2975 副图片来自数据库 Cityscapes training set. (113M) 

    训练方向: AtoB BtoA

    python tools/download-dataset.py maps 

    1096 幅训练图片从谷歌地图中抽取(246M) 

    训练方向: AtoB BtoA

    python tools/download-dataset.py edges2shoes 

    5万张训练图片 来自数据库UT Zappos50K dataset.  HED 边缘检测器材检测了它的边缘. (2.2GB) 

    P训练方向: AtoB

    python tools/download-dataset.py edges2handbags 

    13.7W 亚马逊手提袋图片,来自iGAN project. HED 边缘检测器和姿态估计器提取了手提袋的边缘. (8.6GB) 

    训练方向: AtoB

    数据库facedes是最小、最容易的.

    建立你自己的数据库

    例如: 在图片中间放置一个白色色块

    # 改变源数据大小python tools/process.py \

      --input_dir photos/original \

      --operation resize \

      --output_dir photos/resized# 生成中心带有白色色块的图片python tools/process.py \

      --input_dir photos/resized \

      --operation blank \

      --output_dir photos/blank# 合并以上两步生成的图片python tools/process.py \

      --input_dir photos/resized \

      --b_dir photos/blank \

      --operation combine \

      --output_dir photos/combined# t建立train/validation集合python tools/split.py \

      --dir photos/combined

    目录photos/combined下就会有训练和验证子文件夹train 和 val,你可以用来训练和测试.

    Creating image pairs from existing images建立图片对

    如果你有两个文件夹,文件夹里有对应的图片对(同名,同大小,只是图片内容不同)你可以用脚本process.py来处理他们:

    python tools/process.py \

      --input_dir a \

      --b_dir b \

      --operation combine \

      --output_dir c

    这步就产生了pix2pix.py需要的合成图片.

    Colorization-着色

    着色项目,你的图片大小必须与模型所需要一致. 你可以用以下命令来改变他们的大小或者剪切他们:

    python tools/process.py \

      --input_dir photos/original \

      --operation resize \

      --output_dir photos/resized

    不需要其他 步骤了, 着色模型只需要单张图片即可.

    Training-训练

    Image Pairs-图片对

    训练时,你需要指定训练文件夹, 指定朝哪个方向训练. 可选的方向有两个AtoB或者BtoA

    python pix2pix.py \

      --mode train \

      --output_dir facades_train \

      --max_epochs 200 \

      --input_dir facades/train \

      --which_direction BtoA

    Colorization着色

    pix2pix.py 脚本里有专为着色的特殊代码,使我们只用单图就可以完成训练,不再需要图片对, 要使用这段代码,可用下面的方式:

    python pix2pix.py \

      --mode train \

      --output_dir photos_train \

      --max_epochs 200 \

      --input_dir photos/train \

      --lab_colorization

    此模型中,A图时黑白图,图B是彩色图.

    Tips-提示

    你可以用如下命令看看tensor板上的loss和计算图:

    tensorboard --logdir=facades_train

    如果你想看训练时的状态图,use用此命令 --display_freq 50. 这将会每50步用当前训练的输入输出来更新一次facades_train/index.html.

    Testing测试

    用--mode test来做测试。你需要用--checkpoint来指定checkpoint, 这个checkpoint应该在你训练时的output_dir文件夹里:

    python pix2pix.py \

      --mode test \

      --output_dir facades_test \

      --input_dir facades/val \

      --checkpoint facades_train

    测试模式时,可以从checkpoint文件里读取一些配置选项,比如变换方向等.

    测试会输出一个HTML文件facades_test/index.html,里面会展示输入/输出/目标图片对:

    Code Validation代码验证

    我们使用了Linux系统,Nvidia GTX 750 Ti GPU,安装了K80 GPU 的Azure NC6.

    git clone https://github.com/affinelayer/pix2pix-tensorflow.gitcd pix2pix-tensorflow

    python tools/download-dataset.py facades

    sudo nvidia-docker run \

      --volume $PWD:/prj \

      --workdir /prj \

      --env PYTHONUNBUFFERED=x \

      affinelayer/pix2pix-tensorflow \

        python pix2pix.py \

          --mode train \

          --output_dir facades_train \

          --max_epochs 200 \

          --input_dir facades/train \

          --which_direction BtoA

    sudo nvidia-docker run \

      --volume $PWD:/prj \

      --workdir /prj \

      --env PYTHONUNBUFFERED=x \

      affinelayer/pix2pix-tensorflow \

        python pix2pix.py \

          --mode test \

          --output_dir facades_test \

          --input_dir facades/val \

          --checkpoint facades_train

    Comparison on facades dataset数据库facades上Tensorflow版本和Torch版本的对比:

    Input

    Tensorflow

    Torch

    Target

    Input

    Tensorflow

    Torch

    Target

    Input

    Tensorflow

    Torch

    Target

    Input

    Tensorflow

    Torch

    Target

    Unimplemented Features没有实现的部分

    以下模型没有实现:

    defineG_encoder_decoder

    defineG_unet_128

    defineD_pixelGAN

    引用

    如果你使用了这个代码,请引用这个代码基于的论文: Image-to-Image Translation Using Conditional Adversarial Networks:

    @article{pix2pix2016,

      title={Image-to-Image Translation with Conditional Adversarial Networks},

      author={Isola, Phillip and Zhu, Jun-Yan and Zhou, Tinghui and Efros, Alexei A},

      journal={arxiv},

      year={2016}

    }

    感谢

    这是一个Torch转化为Tensorflow版本的工作. 包含了从Torch而来的颜色空间转换代码. 感谢Tensorflow团队带来的高质量库,然后特别感谢Phillip Isola回答我关于pix2pix的问题.

    相关文章

      网友评论

        本文标题:pix2pix

        本文链接:https://www.haomeiwen.com/subject/urdilftx.html