美文网首页
tf.nn.conv2d()

tf.nn.conv2d()

作者: 我是谁的小超人 | 来源:发表于2017-10-18 17:32 被阅读0次

    概述

    tf.nn.conv2d是TensorFlow里面实现卷积的函数,参考文档对它的介绍并不是很详细,实际上这是搭建卷积神经网络比较核心的一个方法,非常重要。

    说明

    tf.nn.conv2d(input, filter, strides, padding, use_cudnn_on_gpu=None, name=None)

    参数

    • input:指需要做卷积的输入图像,它要求是一个Tensor,具有[batch, in_height, in_width, in_channels]这样的shape,具体含义是[训练时一个batch的图片数量, 图片高度, 图片宽度, 图像通道数],注意这是一个4维的Tensor,要求类型为float32和float64其中之一
    • filter:相当于CNN中的卷积核,它要求是一个Tensor,具有[filter_height, filter_width, in_channels, out_channels]这样的shape,具体含义是[卷积核的高度,卷积核的宽度,图像通道数,卷积核个数],要求类型与参数input相同,有一个地方需要注意,第三维in_channels,就是参数input的第四维
    • strides:卷积时在图像每一维的步长,这是一个一维的向量,长度4
    • padding:string类型的量,只能是"SAME","VALID"其中之一,这个值决定了不同的卷积方法,当其为‘SAME’时,表示卷积核可以停留在图像边缘。
    • use_cudnn_on_gpu:bool类型,是否使用cudnn加速,默认为true
    • name:指定该操作的name

    返回

    结果返回一个Tensor,这个输出,就是我们常说的feature map

    实例

    1.考虑一种最简单的情况,现在有一张3×3单通道的图像(对应的shape:[1,3,3,1]),用一个1×1的卷积核(对应的shape:[1,1,1,1])去做卷积,最后会得到一张3×3的feature map。输出:[1,3, 3, 1]

    input_arg = tf.Variable(tf.ones([1, 3, 3, 1]))
    filter_arg = tf.Variable(tf.ones([1, 1, 1, 1]))
    op = tf.nn.conv2d(input_arg, filter_arg, strides=[1, 3, 3, 1], 
                       use_cudnn_on_gpu=False, padding='VALID')
    

    --------------case1--------------
    [[[[ 1.]
    [ 1.]
    [ 1.]]

    [[ 1.]
    [ 1.]
    [ 1.]]

    [[ 1.]
    [ 1.]
    [ 1.]]]]

    2.增加图片的通道数,使用一张3×3五通道的图像(对应的shape:[1,3,3,5]),用一个1×1的卷积核(对应的shape:[1,1,1,1])去做卷积,仍然是一张3×3的feature map,这就相当于每一个像素点,卷积核都与该像素点的每一个通道做点积。输出:[1, 3, 3, 1]

    input_arg = tf.Variable(tf.ones([1, 3, 3, 5]))
    filter_arg = tf.Variable(tf.ones([1, 1, 5, 1]))
    op = tf.nn.conv2d(input_arg, filter_arg, strides=[1, 1, 1, 1], 
                       use_cudnn_on_gpu=False, padding='VALID')
    

    --------------case2--------------
    [[[[ 5.]
    [ 5.]
    [ 5.]]

    [[ 5.]
    [ 5.]
    [ 5.]]

    [[ 5.]
    [ 5.]
    [ 5.]]]]

    3.把卷积核扩大,现在用3×3的卷积核做卷积,最后的输出是一个值,相当于情况2的feature map所有像素点的值求和。输出:[1, 1, 1, 1]

    input_arg = tf.Variable(tf.ones([1, 3, 3, 5]))
    filter_arg = tf.Variable(tf.ones([3, 3, 5, 1]))
    op = tf.nn.conv2d(input_arg, filter_arg, strides=[1, 1, 1, 1], 
                      use_cudnn_on_gpu=False, padding='VALID')
    

    --------------case3--------------
    [[[[ 45.]]]]

    4.使用更大的图片将情况2的图片扩大到5×5,仍然是3×3的卷积核,令步长为1,输出3×3的feature map。
    注意我们可以把这种情况看成情况2和情况3的中间状态,卷积核以步长1滑动遍历全图,以下x表示的位置,表示卷积核停留的位置,每停留一个,输出feature map的一个像素。输出:[1, 3, 3, 1]
    .....
    .xxx.
    .xxx.
    .xxx.
    .....

    input_arg = tf.Variable(tf.ones([1, 5, 5, 5]))
    filter_arg = tf.Variable(tf.ones([3, 3, 5, 1]))
    op = tf.nn.conv2d(input_arg, filter_arg, strides=[1, 1, 1, 1], 
                      use_cudnn_on_gpu=False, padding='VALID')
    

    --------------case4--------------
    [[[[ 45.]
    [ 45.]
    [ 45.]]

    [[ 45.]
    [ 45.]
    [ 45.]]

    [[ 45.]
    [ 45.]
    [ 45.]]]]

    5.上面我们一直令参数padding的值为‘VALID’,当其为‘SAME’时,表示卷积核可以停留在图像边缘,输出:[1, 5, 5, 1]
    xxxxx
    xxxxx
    xxxxx
    xxxxx
    xxxxx

    input_arg = tf.Variable(tf.ones([1, 5, 5, 5]))
    filter_arg = tf.Variable(tf.ones([3, 3, 5, 1]))
    op = tf.nn.conv2d(input_arg, filter_arg, strides=[1, 1, 1, 1], 
                      use_cudnn_on_gpu=False, padding='SAME')
    

    --------------case5--------------
    [[[[ 20.]
    [ 30.]
    [ 30.]
    [ 30.]
    [ 20.]]

    [[ 30.]
    [ 45.]
    [ 45.]
    [ 45.]
    [ 30.]]

    [[ 30.]
    [ 45.]
    [ 45.]
    [ 45.]
    [ 30.]]

    [[ 30.]
    [ 45.]
    [ 45.]
    [ 45.]
    [ 30.]]

    [[ 20.]
    [ 30.]
    [ 30.]
    [ 30.]
    [ 20.]]]]

    6.如果卷积核有多个,此时输出7张5×5的feature map。输出:[1, 5, 5, 7]

     input_arg = tf.Variable(tf.ones([1, 5, 5, 5]))
    filter_arg = tf.Variable(tf.ones([3, 3, 5, 7]))
    op = tf.nn.conv2d(input_arg, filter_arg, strides=[1, 1, 1, 1], 
                      use_cudnn_on_gpu=False, padding='SAME')
    oplist.append([op, 'case6'])
    

    --------------case6--------------
    [[[[ 20. 20. 20. ..., 20. 20. 20.]
    [ 30. 30. 30. ..., 30. 30. 30.]
    [ 30. 30. 30. ..., 30. 30. 30.]
    [ 30. 30. 30. ..., 30. 30. 30.]
    [ 20. 20. 20. ..., 20. 20. 20.]]

    [[ 30. 30. 30. ..., 30. 30. 30.]
    [ 45. 45. 45. ..., 45. 45. 45.]
    [ 45. 45. 45. ..., 45. 45. 45.]
    [ 45. 45. 45. ..., 45. 45. 45.]
    [ 30. 30. 30. ..., 30. 30. 30.]]

    [[ 30. 30. 30. ..., 30. 30. 30.]
    [ 45. 45. 45. ..., 45. 45. 45.]
    [ 45. 45. 45. ..., 45. 45. 45.]
    [ 45. 45. 45. ..., 45. 45. 45.]
    [ 30. 30. 30. ..., 30. 30. 30.]]

    [[ 30. 30. 30. ..., 30. 30. 30.]
    [ 45. 45. 45. ..., 45. 45. 45.]
    [ 45. 45. 45. ..., 45. 45. 45.]
    [ 45. 45. 45. ..., 45. 45. 45.]
    [ 30. 30. 30. ..., 30. 30. 30.]]

    [[ 20. 20. 20. ..., 20. 20. 20.]
    [ 30. 30. 30. ..., 30. 30. 30.]
    [ 30. 30. 30. ..., 30. 30. 30.]
    [ 30. 30. 30. ..., 30. 30. 30.]
    [ 20. 20. 20. ..., 20. 20. 20.]]]]

    7.步长不为1的情况,文档里说了对于图片,因为只有两维,通常strides取[1,stride,stride,1]。输出:[1, 3, 3, 7]
    x.x.x
    .....
    x.x.x
    .....
    x.x.x

    input_arg = tf.Variable(tf.ones([1, 5, 5, 5]))
    filter_arg = tf.Variable(tf.ones([3, 3, 5, 7]))
    op = tf.nn.conv2d(input_arg, filter_arg, strides=[1, 2, 2, 1], 
                      use_cudnn_on_gpu=False, padding='SAME')
    oplist.append([op, 'case7'])
    

    --------------case7--------------
    [[[[ 20. 20. 20. ..., 20. 20. 20.]
    [ 30. 30. 30. ..., 30. 30. 30.]
    [ 20. 20. 20. ..., 20. 20. 20.]]

    [[ 30. 30. 30. ..., 30. 30. 30.]
    [ 45. 45. 45. ..., 45. 45. 45.]
    [ 30. 30. 30. ..., 30. 30. 30.]]

    [[ 20. 20. 20. ..., 20. 20. 20.]
    [ 30. 30. 30. ..., 30. 30. 30.]
    [ 20. 20. 20. ..., 20. 20. 20.]]]]

    8.如果batch值不为1,同时输入4张图,输出的每张图,都有7张3×3的feature map。输出:[4, 3, 3, 7]

    input_arg = tf.Variable(tf.ones([4, 5, 5, 5]))
    filter_arg = tf.Variable(tf.ones([3, 3, 5, 7]))
    op = tf.nn.conv2d(input_arg, filter_arg, strides=[1, 2, 2, 1], 
                      use_cudnn_on_gpu=False, padding='SAME')
    

    --------------case8--------------
    [[[[ 20. 20. 20. ..., 20. 20. 20.]
    [ 30. 30. 30. ..., 30. 30. 30.]
    [ 20. 20. 20. ..., 20. 20. 20.]]

    [[ 30. 30. 30. ..., 30. 30. 30.]
    [ 45. 45. 45. ..., 45. 45. 45.]
    [ 30. 30. 30. ..., 30. 30. 30.]]

    [[ 20. 20. 20. ..., 20. 20. 20.]
    [ 30. 30. 30. ..., 30. 30. 30.]
    [ 20. 20. 20. ..., 20. 20. 20.]]]

    [[[ 20. 20. 20. ..., 20. 20. 20.]
    [ 30. 30. 30. ..., 30. 30. 30.]
    [ 20. 20. 20. ..., 20. 20. 20.]]

    [[ 30. 30. 30. ..., 30. 30. 30.]
    [ 45. 45. 45. ..., 45. 45. 45.]
    [ 30. 30. 30. ..., 30. 30. 30.]]

    [[ 20. 20. 20. ..., 20. 20. 20.]
    [ 30. 30. 30. ..., 30. 30. 30.]
    [ 20. 20. 20. ..., 20. 20. 20.]]]

    [[[ 20. 20. 20. ..., 20. 20. 20.]
    [ 30. 30. 30. ..., 30. 30. 30.]
    [ 20. 20. 20. ..., 20. 20. 20.]]

    [[ 30. 30. 30. ..., 30. 30. 30.]
    [ 45. 45. 45. ..., 45. 45. 45.]
    [ 30. 30. 30. ..., 30. 30. 30.]]

    [[ 20. 20. 20. ..., 20. 20. 20.]
    [ 30. 30. 30. ..., 30. 30. 30.]
    [ 20. 20. 20. ..., 20. 20. 20.]]]

    [[[ 20. 20. 20. ..., 20. 20. 20.]
    [ 30. 30. 30. ..., 30. 30. 30.]
    [ 20. 20. 20. ..., 20. 20. 20.]]

    [[ 30. 30. 30. ..., 30. 30. 30.]
    [ 45. 45. 45. ..., 45. 45. 45.]
    [ 30. 30. 30. ..., 30. 30. 30.]]

    [[ 20. 20. 20. ..., 20. 20. 20.]
    [ 30. 30. 30. ..., 30. 30. 30.]
    [ 20. 20. 20. ..., 20. 20. 20.]]]]

    代码

    import tensorflow as tf
    
    oplist = []
    
    # input_arg = [batch, in_height, in_width, in_channels]
    # filter_arg = [filter_height, filter_width, in_channels, out_channels]
    
    # case 1
    input_arg = tf.Variable(tf.ones([1, 3, 3, 1]))
    filter_arg = tf.Variable(tf.ones([1, 1, 1, 1]))
    op = tf.nn.conv2d(input_arg, filter_arg, strides=[1, 1, 1, 1], 
                       use_cudnn_on_gpu=False, padding='VALID')
    oplist.append([op, 'case1'])
    
    # case 2
    input_arg = tf.Variable(tf.ones([1, 3, 3, 5]))
    filter_arg = tf.Variable(tf.ones([1, 1, 5, 1]))
    
    op = tf.nn.conv2d(input_arg, filter_arg, strides=[1, 1, 1, 1], 
                       use_cudnn_on_gpu=False, padding='VALID')
    oplist.append([op, 'case2'])
    
    # case 3
    input_arg = tf.Variable(tf.ones([1, 3, 3, 5]))
    filter_arg = tf.Variable(tf.ones([3, 3, 5, 1]))
    op = tf.nn.conv2d(input_arg, filter_arg, strides=[1, 1, 1, 1], 
                      use_cudnn_on_gpu=False, padding='VALID')
    oplist.append([op, 'case3'])
    
    # case 4
    input_arg = tf.Variable(tf.ones([1, 5, 5, 5]))
    filter_arg = tf.Variable(tf.ones([3, 3, 5, 1]))
    op = tf.nn.conv2d(input_arg, filter_arg, strides=[1, 1, 1, 1], 
                      use_cudnn_on_gpu=False, padding='VALID')
    oplist.append([op, 'case4'])
    
    # case 5
    input_arg = tf.Variable(tf.ones([1, 5, 5, 5]))
    filter_arg = tf.Variable(tf.ones([3, 3, 5, 1]))
    op = tf.nn.conv2d(input_arg, filter_arg, strides=[1, 1, 1, 1], 
                      use_cudnn_on_gpu=False, padding='SAME')
    oplist.append([op, 'case5'])
    
    # case 6
    input_arg = tf.Variable(tf.ones([1, 5, 5, 5]))
    filter_arg = tf.Variable(tf.ones([3, 3, 5, 7]))
    op = tf.nn.conv2d(input_arg, filter_arg, strides=[1, 1, 1, 1], 
                      use_cudnn_on_gpu=False, padding='SAME')
    oplist.append([op, 'case6'])
    
    # case 7
    input_arg = tf.Variable(tf.ones([1, 5, 5, 5]))
    filter_arg = tf.Variable(tf.ones([3, 3, 5, 7]))
    op = tf.nn.conv2d(input_arg, filter_arg, strides=[1, 2, 2, 1], 
                      use_cudnn_on_gpu=False, padding='SAME')
    oplist.append([op, 'case7'])
    
    # case 8
    input_arg = tf.Variable(tf.ones([4, 5, 5, 5]))
    filter_arg = tf.Variable(tf.ones([3, 3, 5, 7]))
    op = tf.nn.conv2d(input_arg, filter_arg, strides=[1, 2, 2, 1], 
                      use_cudnn_on_gpu=False, padding='SAME')
    oplist.append([op, 'case8'])
    
    with tf.Session() as sess:
        init = tf.global_variables_initializer()
        sess.run(init)
        for aop in oplist:
            print('--------------{}--------------'.format(aop[1]))  
            print(sess.run(aop[0]))
            print('\n')
    

    --------------case1--------------
    [[[[ 1.]
    [ 1.]
    [ 1.]]

    [[ 1.]
    [ 1.]
    [ 1.]]

    [[ 1.]
    [ 1.]
    [ 1.]]]]

    --------------case2--------------
    [[[[ 5.]
    [ 5.]
    [ 5.]]

    [[ 5.]
    [ 5.]
    [ 5.]]

    [[ 5.]
    [ 5.]
    [ 5.]]]]

    --------------case3--------------
    [[[[ 45.]]]]

    --------------case4--------------
    [[[[ 45.]
    [ 45.]
    [ 45.]]

    [[ 45.]
    [ 45.]
    [ 45.]]

    [[ 45.]
    [ 45.]
    [ 45.]]]]

    --------------case5--------------
    [[[[ 20.]
    [ 30.]
    [ 30.]
    [ 30.]
    [ 20.]]

    [[ 30.]
    [ 45.]
    [ 45.]
    [ 45.]
    [ 30.]]

    [[ 30.]
    [ 45.]
    [ 45.]
    [ 45.]
    [ 30.]]

    [[ 30.]
    [ 45.]
    [ 45.]
    [ 45.]
    [ 30.]]

    [[ 20.]
    [ 30.]
    [ 30.]
    [ 30.]
    [ 20.]]]]

    --------------case6--------------
    [[[[ 20. 20. 20. ..., 20. 20. 20.]
    [ 30. 30. 30. ..., 30. 30. 30.]
    [ 30. 30. 30. ..., 30. 30. 30.]
    [ 30. 30. 30. ..., 30. 30. 30.]
    [ 20. 20. 20. ..., 20. 20. 20.]]

    [[ 30. 30. 30. ..., 30. 30. 30.]
    [ 45. 45. 45. ..., 45. 45. 45.]
    [ 45. 45. 45. ..., 45. 45. 45.]
    [ 45. 45. 45. ..., 45. 45. 45.]
    [ 30. 30. 30. ..., 30. 30. 30.]]

    [[ 30. 30. 30. ..., 30. 30. 30.]
    [ 45. 45. 45. ..., 45. 45. 45.]
    [ 45. 45. 45. ..., 45. 45. 45.]
    [ 45. 45. 45. ..., 45. 45. 45.]
    [ 30. 30. 30. ..., 30. 30. 30.]]

    [[ 30. 30. 30. ..., 30. 30. 30.]
    [ 45. 45. 45. ..., 45. 45. 45.]
    [ 45. 45. 45. ..., 45. 45. 45.]
    [ 45. 45. 45. ..., 45. 45. 45.]
    [ 30. 30. 30. ..., 30. 30. 30.]]

    [[ 20. 20. 20. ..., 20. 20. 20.]
    [ 30. 30. 30. ..., 30. 30. 30.]
    [ 30. 30. 30. ..., 30. 30. 30.]
    [ 30. 30. 30. ..., 30. 30. 30.]
    [ 20. 20. 20. ..., 20. 20. 20.]]]]

    --------------case7--------------
    [[[[ 20. 20. 20. ..., 20. 20. 20.]
    [ 30. 30. 30. ..., 30. 30. 30.]
    [ 20. 20. 20. ..., 20. 20. 20.]]

    [[ 30. 30. 30. ..., 30. 30. 30.]
    [ 45. 45. 45. ..., 45. 45. 45.]
    [ 30. 30. 30. ..., 30. 30. 30.]]

    [[ 20. 20. 20. ..., 20. 20. 20.]
    [ 30. 30. 30. ..., 30. 30. 30.]
    [ 20. 20. 20. ..., 20. 20. 20.]]]]

    --------------case8--------------
    [[[[ 20. 20. 20. ..., 20. 20. 20.]
    [ 30. 30. 30. ..., 30. 30. 30.]
    [ 20. 20. 20. ..., 20. 20. 20.]]

    [[ 30. 30. 30. ..., 30. 30. 30.]
    [ 45. 45. 45. ..., 45. 45. 45.]
    [ 30. 30. 30. ..., 30. 30. 30.]]

    [[ 20. 20. 20. ..., 20. 20. 20.]
    [ 30. 30. 30. ..., 30. 30. 30.]
    [ 20. 20. 20. ..., 20. 20. 20.]]]

    [[[ 20. 20. 20. ..., 20. 20. 20.]
    [ 30. 30. 30. ..., 30. 30. 30.]
    [ 20. 20. 20. ..., 20. 20. 20.]]

    [[ 30. 30. 30. ..., 30. 30. 30.]
    [ 45. 45. 45. ..., 45. 45. 45.]
    [ 30. 30. 30. ..., 30. 30. 30.]]

    [[ 20. 20. 20. ..., 20. 20. 20.]
    [ 30. 30. 30. ..., 30. 30. 30.]
    [ 20. 20. 20. ..., 20. 20. 20.]]]

    [[[ 20. 20. 20. ..., 20. 20. 20.]
    [ 30. 30. 30. ..., 30. 30. 30.]
    [ 20. 20. 20. ..., 20. 20. 20.]]

    [[ 30. 30. 30. ..., 30. 30. 30.]
    [ 45. 45. 45. ..., 45. 45. 45.]
    [ 30. 30. 30. ..., 30. 30. 30.]]

    [[ 20. 20. 20. ..., 20. 20. 20.]
    [ 30. 30. 30. ..., 30. 30. 30.]
    [ 20. 20. 20. ..., 20. 20. 20.]]]

    [[[ 20. 20. 20. ..., 20. 20. 20.]
    [ 30. 30. 30. ..., 30. 30. 30.]
    [ 20. 20. 20. ..., 20. 20. 20.]]

    [[ 30. 30. 30. ..., 30. 30. 30.]
    [ 45. 45. 45. ..., 45. 45. 45.]
    [ 30. 30. 30. ..., 30. 30. 30.]]

    [[ 20. 20. 20. ..., 20. 20. 20.]
    [ 30. 30. 30. ..., 30. 30. 30.]
    [ 20. 20. 20. ..., 20. 20. 20.]]]]

    参考

    http://www.cnblogs.com/welhzh/p/6607581.html

    相关文章

      网友评论

          本文标题:tf.nn.conv2d()

          本文链接:https://www.haomeiwen.com/subject/aojeuxtx.html