## 为何使用fit_generator？
在深度学习中，我们数据通常会很大，即使在使用GPU的情况下，我们如果一次性将所有数据（如图像）读入CPU的内存中，内存很有可能会奔溃。这在实际的项目中很有可能会出现。
如果我们使用fit_generator则可以解决这个问题：
1）fit_generator的参数中有一个是连续不断的产生数据的函数，被称为generator。
2）至于这个generator是怎么产生的，本文不想多说。本文只想告诉大家怎么来构建一个实际的generator。
## 实际的generator例子
```
import json
import os
import numpy as np
import cv2
from sklearn.utils import shuffle
def cv_imread(filePath):
cv_img = cv2.imdecode(np.fromfile(filePath, dtype=np.uint8), -1)
return cv_img
def load_train(train_path, width, height, batch_size):
classes = np.zeros(61)
root = os.getcwd()
with open(train_path, 'r') as load_f:
load_dict = json.load(load_f)
start = 0
end = batch_size
num_epochs = 0
while True:
images = []
labels = []
number = np.random.random_integers(0, len(load_dict)-1, batch_size)
for image in number:
index = load_dict[image]["disease_class"]
path = load_dict[image]['image_id']
img_path = os.path.join(root, 'new_train', 'images', path)
image_data = cv_imread(img_path)
image_data = cv2.resize(image_data, (width, height), 0, 0, cv2.INTER_LINEAR)
image_data = image_data.astype(np.float32)
image_data = np.multiply(image_data, 1.0 / 255.0)
images.append(image_data)
label = np.zeros(len(classes))
label[index] = 1
labels.append(label)
images = np.array(images)
labels = np.array(labels)
yield images, labels
def load_validate(validate_path, width, height):
root = os.getcwd()
with open(validate_path, 'r') as load_f:
load_dict = json.load(load_f)
# num_image = len(load_dict)
# 只产生512个数据，避免内存过大
while True:
images = []
labels = []
classes = np.zeros(61)
number = np.random.random_integers(0, len(load_dict) - 1, 512)
for image in number:
index = load_dict[image]["disease_class"]
path = load_dict[image]['image_id']
img_path = os.path.join(root, 'AgriculturalDisease_validationset', 'images', path)
image_data = cv_imread(img_path)
image_data = cv2.resize(image_data, (width, height), 0, 0, cv2.INTER_LINEAR)
image_data = image_data.astype(np.float32)
image_data = np.multiply(image_data, 1.0 / 255.0)
images.append(image_data)
label = np.zeros(len(classes))
label[index] = 1
labels.append(label)
images = np.array(images)
labels = np.array(labels)
yield images, labels
```
以上是切实可行的程序。这里对上面的程序做一个说明：
1）注意到函数中使用yield返回数据
2）注意到函数使用while True 来进行循环，目前可以认为这是一个必要的部分，这个函数不停的在while中进行循环
3）由于是在while中进行循环，我们需要在while中进行设置初始化，而不要在while循环外进行初始化；我刚开始在load_validate函数中没有初始化 images = []和labels = []，导致程序出错。因为我在while循环中最后将这两个数据都变成了numpy的数据格式，当进行第二轮数据产生时，numpy的数据格式是没有append的函数的，所以会出错。
4）程序中具体的数据运算不需要太多了解，不过这里给出一个简单的说明，以助于理解：在train数据中，我试图从一个很大的图片数据库中随机选择batch_size个图片，然后进行resize变换。这是一张图片的过程。为了读取多张图片，我是先将每一个图片都读入一个列表中，这是为了使用列表的append这个追加数据的功能（我觉得这个功能其实挺好用的），最后，把要训练的一个batch数据转成numpy的array格式。
5）除了while True 和 yield，大家留意一下这里的循环和初始化，比较容易出错。
## 最后，这里也给出这个程序的一些参数设置
个人觉得这里的参数设置还是不太方便的，需要注意一下。
1）首先，对于train中的数据，batch是从主函数中读进来的。
下面是fit_generator调用设置
```
times = 3070
batch_size = 64
model.fit_generator(load_data.load_train(train_path, img_rows, img_cols, batch_size=batch_size),
steps_per_epoch=times,
verbose=1,
epochs=100,
validation_data=load_data.load_validate(validate_path, img_rows, img_cols),
validation_steps=1,
shuffle=True)
```
先说一下，我的数据数量：训练集共196434张图片，验证集共4095张图片。
我这里主要说一下训练集的设置，因为验证集我还没有仔细的思考。
由于我的GPU数量只是1，所以我只是讲batch_size设置为64，所以需要从196434/63=3070次才能将整个数据库平均取一次。而epochs设置为100，意味着我将这个轮回设置成了100,。
以上有不对的地方，或者可以改进的地方，请各位不吝指教。
网友评论