翻译：赵明明

像素转像素-tensorflow
基于Isola的pix2pix

介绍模型实现的文章

相关例子

pix2pix的tensorflow实现。模型学习了输入图片到输出图片之间的映射, 就像下面这些例子（input:输入，output输出):

这个功能基本实现是在torch上的，并不是在Tensorflow上. 这只是一个原来工作的实现，没有添加任何其他功能. 在测试时，调用了cnDNN,采用了gpu来加速.

安装

依赖软件

Tensorflow 1.4.1

依赖环境

Linux with Tensorflow GPU edition + cuDNN

从这里开始

# 从github上下载这个工程git clone https://github.com/affinelayer/pix2pix-tensorflow.gitcd pix2pix-tensorflow#下载CMP Faceades 数据库(地址：http://cmp.felk.cvut.cz/~tylecr1/facade/)python tools/download-dataset.py facades# 训练模型 GPU 需要训练1-8小时, 如果用CPU就要训练很久，有你等的了python pix2pix.py \

  --mode train \

  --output_dir facades_train \

  --max_epochs 200 \

  --input_dir facades/train \

  --which_direction BtoA# 测试模型python pix2pix.py \

  --mode test \

  --output_dir facades_test \

  --input_dir facades/val \

  --checkpoint facades_train

测试的输出是一个HTML文件 facades_test/index.html，显示了输入\输出\目标图片对

如果你安装了Docker,你可以用Doker来运行pix2pix没有必要再安装对应的Tensorflow版本:

# 训练模型python tools/dockrun.py python pix2pix.py \

      --mode train \

      --output_dir facades_train \

      --max_epochs 200 \

      --input_dir facades/train \

      --which_direction BtoA# 测试模型python tools/dockrun.py python pix2pix.py \

      --mode test \

      --output_dir facades_test \

      --input_dir facades/val \

      --checkpoint facades_train

数据库与模型训练

本程序需要的数据格式与原来的pix2pix一样, 就是需要把输入输出图片做成这个样子:

例如:

论文中放出一些可用的数据. 用这个脚本可以下载 tools/download-dataset.py. 下面图表中，每个数据训练好的模型也在旁边, 但是这些模型需要对应版本的pix2pix.py程序:

数据库例图

python tools/download-dataset.py facades

python tools/download-dataset.py cityscapes 

2975 副图片来自数据库 Cityscapes training set. (113M) 

训练方向: AtoB BtoA

python tools/download-dataset.py maps 

1096 幅训练图片从谷歌地图中抽取(246M) 

训练方向: AtoB BtoA

python tools/download-dataset.py edges2shoes 

5万张训练图片 来自数据库UT Zappos50K dataset.  HED 边缘检测器材检测了它的边缘. (2.2GB) 

P训练方向: AtoB

python tools/download-dataset.py edges2handbags 

13.7W 亚马逊手提袋图片，来自iGAN project. HED 边缘检测器和姿态估计器提取了手提袋的边缘. (8.6GB) 

训练方向: AtoB

数据库facedes是最小、最容易的.

建立你自己的数据库

例如: 在图片中间放置一个白色色块

# 改变源数据大小python tools/process.py \

  --input_dir photos/original \

  --operation resize \

  --output_dir photos/resized# 生成中心带有白色色块的图片python tools/process.py \

  --input_dir photos/resized \

  --operation blank \

  --output_dir photos/blank# 合并以上两步生成的图片python tools/process.py \

  --input_dir photos/resized \

  --b_dir photos/blank \

  --operation combine \

  --output_dir photos/combined# t建立train/validation集合python tools/split.py \

  --dir photos/combined

目录photos/combined下就会有训练和验证子文件夹train 和 val，你可以用来训练和测试.

Creating image pairs from existing images建立图片对

如果你有两个文件夹，文件夹里有对应的图片对（同名，同大小，只是图片内容不同）你可以用脚本process.py来处理他们:

python tools/process.py \

  --input_dir a \

  --b_dir b \

  --operation combine \

  --output_dir c

这步就产生了pix2pix.py需要的合成图片.

Colorization-着色

着色项目，你的图片大小必须与模型所需要一致. 你可以用以下命令来改变他们的大小或者剪切他们:

python tools/process.py \

  --input_dir photos/original \

  --operation resize \

  --output_dir photos/resized

不需要其他 步骤了, 着色模型只需要单张图片即可.

Training-训练

Image Pairs-图片对

训练时，你需要指定训练文件夹, 指定朝哪个方向训练. 可选的方向有两个AtoB或者BtoA

python pix2pix.py \

  --mode train \

  --output_dir facades_train \

  --max_epochs 200 \

  --input_dir facades/train \

  --which_direction BtoA

Colorization着色

pix2pix.py 脚本里有专为着色的特殊代码，使我们只用单图就可以完成训练，不再需要图片对, 要使用这段代码，可用下面的方式:

python pix2pix.py \

  --mode train \

  --output_dir photos_train \

  --max_epochs 200 \

  --input_dir photos/train \

  --lab_colorization

此模型中，A图时黑白图，图B是彩色图.

Tips-提示

你可以用如下命令看看tensor板上的loss和计算图:

tensorboard --logdir=facades_train

如果你想看训练时的状态图,use用此命令 --display_freq 50. 这将会每50步用当前训练的输入输出来更新一次facades_train/index.html.

Testing测试

用--mode test来做测试。你需要用--checkpoint来指定checkpoint, 这个checkpoint应该在你训练时的output_dir文件夹里：

python pix2pix.py \

  --mode test \

  --output_dir facades_test \

  --input_dir facades/val \

  --checkpoint facades_train

测试模式时，可以从checkpoint文件里读取一些配置选项，比如变换方向等.

测试会输出一个HTML文件facades_test/index.html，里面会展示输入/输出/目标图片对:

Code Validation代码验证

我们使用了Linux系统，Nvidia GTX 750 Ti GPU，安装了K80 GPU 的Azure NC6.

git clone https://github.com/affinelayer/pix2pix-tensorflow.gitcd pix2pix-tensorflow

python tools/download-dataset.py facades

sudo nvidia-docker run \

  --volume $PWD:/prj \

  --workdir /prj \

  --env PYTHONUNBUFFERED=x \

  affinelayer/pix2pix-tensorflow \

    python pix2pix.py \

      --mode train \

      --output_dir facades_train \

      --max_epochs 200 \

      --input_dir facades/train \

      --which_direction BtoA

sudo nvidia-docker run \

  --volume $PWD:/prj \

  --workdir /prj \

  --env PYTHONUNBUFFERED=x \

  affinelayer/pix2pix-tensorflow \

    python pix2pix.py \

      --mode test \

      --output_dir facades_test \

      --input_dir facades/val \

      --checkpoint facades_train

Comparison on facades dataset数据库facades上Tensorflow版本和Torch版本的对比:

Input

Tensorflow

Torch

Target

Input

Tensorflow

Torch

Target

Input

Tensorflow

Torch

Target

Input

Tensorflow

Torch

Target

Unimplemented Features没有实现的部分

以下模型没有实现:

defineG_encoder_decoder

defineG_unet_128

defineD_pixelGAN

引用

如果你使用了这个代码，请引用这个代码基于的论文: Image-to-Image Translation Using Conditional Adversarial Networks:

@article{pix2pix2016,

  title={Image-to-Image Translation with Conditional Adversarial Networks},

  author={Isola, Phillip and Zhu, Jun-Yan and Zhou, Tinghui and Efros, Alexei A},

  journal={arxiv},

  year={2016}

}

感谢

这是一个Torch转化为Tensorflow版本的工作. 包含了从Torch而来的颜色空间转换代码. 感谢Tensorflow团队带来的高质量库，然后特别感谢Phillip Isola回答我关于pix2pix的问题.