tensorflow objection detection m

上一篇是网络模型的加载，这一篇是输入模型的加载，之后还有训练模型的加载。
输入模型的加载的开始是train.py文件中的

create_input_dict_fn = functools.partial(input_reader_builder.build, input_config)

那就进入input_reader_builder.build看一看。

parallel_reader = tf.contrib.slim.parallel_reader
def build(input_reader_config):
#判断类型输入的类型是否为input_reader_pb2.InputReader)
  if not isinstance(input_reader_config, input_reader_pb2.InputReader):
    raise ValueError('input_reader_config not of type '
                     'input_reader_pb2.InputReader.')
#只接受输入类型为tf_record_input_reader的输入
  if input_reader_config.WhichOneof('input_reader') == 'tf_record_input_reader':
#获取数据集存放位置
    config = input_reader_config.tf_record_input_reader

    _, string_tensor = parallel_reader.parallel_read(
        config.input_path,
        reader_class=tf.TFRecordReader,
        num_epochs=(input_reader_config.num_epochs
                    if input_reader_config.num_epochs else None),
        num_readers=input_reader_config.num_readers,
        shuffle=input_reader_config.shuffle,
        dtypes=[tf.string, tf.string],
        capacity=input_reader_config.queue_capacity,
        min_after_dequeue=input_reader_config.min_after_dequeue)

    return tf_example_decoder.TfExampleDecoder().decode(string_tensor)

  raise ValueError('Unsupported input_reader_config.')

可以看出核心是使用了tf.contrib.slim.parallel_reader这个库中的函数。看看这个函数的说明。

ef parallel_read(data_sources,
                  reader_class,
                  num_epochs=None,
                  num_readers=4,
                  reader_kwargs=None,
                  shuffle=True,
                  dtypes=None,
                  capacity=256,
                  min_after_dequeue=128,
                  seed=None,
                  scope=None):
  """
#从原始的数据文件使用多个reader获取多个record。
#并行的使用ParallelReader从多个文件读取数据
#多个readers是根据 `reader_class` 和 `reader_kwargs'进行创建的。
#如果shuffle为true，则common_queue将会是一个RandomShuffleQueue ，否则就是一个FIFOQueue.
参数说明
    data_sources: 一系列的文件位置比如： /path/to/train@128, /path/to/train* or /tmp/.../train*
    reader_class: 一个继承了io_ops.ReaderBase 的子类比如 TFRecordReader
    num_epochs: 间隔多少次从数据源读取一次文件，如果没有给，就一直读取
    num_readers: 一个整数，表示创建多少个数据读取器。
    reader_kwargs: 一个可选的字典，表示of kwargs for the reader.
    shuffle: 是否进行数据的打乱操作。
    dtypes:  一个类型的列表，dtypes的长度一定等于每一个记录中元素的长度。如果为None，则为[tf.string, tf.string] for (key, value).
    capacity: 整数，表示common_queue中需要包含多少数据.
    min_after_dequeue: 一个整数，在出队后common_queue中最少的数据记录的量，和打乱有关。
    seed:RandomShuffleQueue所需的随机种子.
    scope: Optional name scope for the ops.
  Returns:
    key, value: a tuple of keys and values from the data_source.
  """

当然读取数据的最后一句话就是对获取到的信息进行解析。

return tf_example_decoder.TfExampleDecoder().decode(string_tensor)

tf_example_decoder是一个用于解析包含了序列化后的tensorflow.Exampleprotos的解析器。

 def decode(self, tf_example_string_tensor):
# 解析序列化后的tensroflow example并返回一个tensor的dict
# 传入参数：一个序列化后的tensorflow example proto对象
# 传出对象： 返回的tensor的dict包含如下内容：
# fields.InputDataFields.image - 一个三维类型为uint8的tensor，其大小为[None, None, 3]表示的是图片
#     fields.InputDataFields.source_id - 一个string类型的tensor包含的是图片的id
#      fields.InputDataFields.key - 一个string类型的tensor，是图片的hd5码
#      fields.InputDataFields.filename - 一个string类型的tensor，包含了数据库的名称
#      fields.InputDataFields.groundtruth_boxes - 二维的float32的 tensor格式为
#        [None, 4]包含box的四个顶点信息.
#      fields.InputDataFields.groundtruth_classes - 1维的 int64型 tensor格式为shape
#        [None]包含box所对应的object类型
#      fields.InputDataFields.groundtruth_area - 1维的 float32 类型的tensor格式为
#        [None] 包含了物品的像素掩膜信息。
#      fields.InputDataFields.groundtruth_is_crowd - 1D bool tensor of shape
#        [None] indicating if the boxes enclose a crowd.
#      fields.InputDataFields.groundtruth_difficult - 1D bool tensor of shape
#        [None] indicating if the boxes represent `difficult` instances.
#      fields.InputDataFields.groundtruth_instance_masks - 3D int64 tensor of
#        shape [None, None, None] containing instance masks.
#      fields.InputDataFields.groundtruth_instance_classes - 1D int64 tensor
#        of shape [None] containing classes for the instance masks.
    serialized_example = tf.reshape(tf_example_string_tensor, shape=[])
#构建解析器
    decoder = slim_example_decoder.TFExampleDecoder(self.keys_to_features,
                                                    self.items_to_handlers)
    keys = decoder.list_items()
#解析
    tensors = decoder.decode(serialized_example, items=keys)
    tensor_dict = dict(zip(keys, tensors))
    is_crowd = fields.InputDataFields.groundtruth_is_crowd
    tensor_dict[is_crowd] = tf.cast(tensor_dict[is_crowd], dtype=tf.bool)
    tensor_dict[fields.InputDataFields.image].set_shape([None, None, 3])
    return tensor_dict

数据已经获取，接下来就是solver了。