Keras 数据增强 ImageDataGenerator

https://keras-zh.readthedocs.io/preprocessing/image/
https://www.cnblogs.com/hutao722/p/10075150.html

一般来说，都会使用ImageDataGenerator.flow()方法构造一个迭代器，以提供给model.fit_generator()方法进行训练。然而缺点是需要一次提供所有数据到内存中，不适合大量图片训练集。因此可使用ImageDataGenerator.flow_from_directory()方法。但是该方法依旧限制较多。
因此我们可不使用ImageDataGenerator提供的构造迭代器方法，而是和之前文章中一样，自定义一个迭代器继承Sequence，然后在__getitem__()方法中仅仅加入ImageDataGenerator.random_transform()方法去进行图像增强。

注意：

1. 需要先从tfrecordDataset的Iterator中获取图像，之后对图像使用random_transform()方法：
   这个方法设计的是针对0-255原图而言的。从源码上来看，它会组合不同的线性变换矩阵，矩阵相乘后，最后应用于原图上，比起在大的原图上一步步做矩阵乘法的效率高。
2. 再对图像使用preprocess预处理函数：
   根据预训练模型的配置不同，预处理preprocess函数是不同的。比如from keras.applications.resnet50 import preprocess_input 与
   from keras.applications.inception_v3 import preprocess_input这两个，虽然本质最后都会调用keras.application.imagenet_utils.preprocess_input()函数，但是参数不同。
   具体来说，Resnet50的预处理中，imagenet_utils.preprocess_input()的mode参数为默认的"caffe"因此处理为调整为BGR后减去imagenet的通道均值。而Inception_v3中则会缩放到-1~1，这与预训练有关。因此需要将图像增强置于该步骤之前。以下代码，图像增强和预处理的步骤就反了：

from keras.preprocessing.image import ImageDataGenerator
import tensorflow as tf
import keras
import keras.backend as K
from keras.preprocessing import image
from keras.applications.resnet50 import preprocess_input
# from keras.applications.inception_v3 import preprocess_input
import numpy as np
import matplotlib.pyplot as plt

def main():
    img = image.load_img('Data_sets/s_IMG_3488.jpg', target_size=(224, 224))

    x = image.img_to_array(img)
    print(x.shape)  # (224, 224, 3)
    print(x[0, 0])  # [238. 255. 251.]

    x = preprocess_input(x)  # 默认Resnet使用caffee模式，inception使用tf模式
    print(x[0, 0])  # [147.061   138.22101 114.32   ] 使用的是resnet的预处理配置
    plt.imshow(x.astype(np.uint8))  # float默认为0-1显示，int默认为0-255显示
    plt.show()

    datagen = ImageDataGenerator(
        rescale=1. / 255,
        rotation_range=20,
        width_shift_range=0.2,
        height_shift_range=0.2,
        horizontal_flip=True)
    x2 = datagen.random_transform(x)
    print(x2[0, 0])  # 每次随机组合：[114.885315 105.54411  110.899704]
    plt.imshow(x2.astype(np.uint8))
    plt.show()

    # 必须在图像增强之后，random_transform只接受3D tensor
    x2 = np.expand_dims(x2, 0)

    # ...model.predict(x2)...

if __name__ == '__main__':
    main()