TensorFlow(3)CNN中的函数

作者: 山阴少年 | 来源:发表于2018-08-22 20:28 被阅读7次

    tf.nn.conv2d()函数

    参数介绍:

    tf.nn.conv2d(input, filter, strides, padding, use_cudnn_on_gpu=None, name=None)

    • input:输入参数,具有这样的shape[batch, in_height, in_width, in_channels],分别是[batch张图片, 每张图片高度为in_height, 每张图片宽度为in_width, 图像通道为in_channels].

    • filter:滤波器,滤波器的shape为[filter_height, filter_width, in_channels, out_channels],分别对应[滤波器高度, 滤波器宽度, 接受图像的通道数, 卷积后通道数],其中第三个参数 in_channels需要与input中的第四个参数 in_channels一致.

    • strides:代表步长,其值可以直接默认一个数,也可以是一个四维数如[1,2,1,1],则其意思是水平方向卷积步长为第二个参数2,垂直方向步长为1.

    • padding:代表填充方式,参数只有两种,SAME和VALID,SAME比VALID的填充方式多了一列,比如一个3*3图像用2*2的滤波器进行卷积,当步长设为2的时候,会缺少一列,则进行第二次卷积的时候,VALID发现余下的窗口不足2*2会直接把第三列去掉,SAME则会填充一列,填充值为0.

    • use_cudnn_on_gpu:bool类型,是否使用cudnn加速,默认为true.

    • name:给返回的tensor命名。给输出feature map起名字.

    例子:

    一张3*3的图片,元素如下:

    * * *
    0 3 6
    1 4 7
    2 5 8

    卷积核为1个2*2的卷积,如下:

    * *
    0 2
    1 3

    TensorFlow代码(padding为SAME):

    import tensorflow as tf
    import numpy as np
    
    g = tf.Graph()
    with g.as_default() as g:
        input = tf.Variable(np.array(range(9), dtype=np.float32).reshape(1,3,3,1))
        filter = tf.Variable(np.array(range(4), dtype=np.float32).reshape(2,2,1,1))
        op = tf.nn.conv2d(input, filter, strides=[1, 1, 1, 1], padding='SAME')
    
    with tf.Session(graph=g) as sess:
        sess.run(tf.global_variables_initializer())
        a,b,c = sess.run([input, filter, op])
        print(a)
        print(b)
        print(c)
    

    输出:

    [[[[ 0.]
       [ 1.]
       [ 2.]]
    
      [[ 3.]
       [ 4.]
       [ 5.]]
    
      [[ 6.]
       [ 7.]
       [ 8.]]]]
    [[[[ 0.]]
    
      [[ 1.]]]
    
    
     [[[ 2.]]
    
      [[ 3.]]]]
    [[[[ 19.]
       [ 25.]
       [ 10.]]
    
      [[ 37.]
       [ 43.]
       [ 16.]]
    
      [[  7.]
       [  8.]
       [  0.]]]]
    

    即卷积后的结果为:

    * * *
    19 37 7
    25 43 8
    10 16 0

    如果padding为VALID,则输出如下:

    [[[[ 0.]
       [ 1.]
       [ 2.]]
    
      [[ 3.]
       [ 4.]
       [ 5.]]
    
      [[ 6.]
       [ 7.]
       [ 8.]]]]
    [[[[ 0.]]
    
      [[ 1.]]]
    
    
     [[[ 2.]]
    
      [[ 3.]]]]
    [[[[ 19.]
       [ 25.]]
    
      [[ 37.]
       [ 43.]]]]
    

    即卷积后的结果为:

    * *
    19 37
    25 43

    tf.nn.max_pool()函数

    tf.nn.max_pool(value, ksize, strides, padding, name=None)

    参数是四个,和卷积函数很类似:

    • value:需要池化的输入,一般池化层接在卷积层后面,所以输入通常是feature map,依然是[batch, height, width, channels]这样的shape.

    • ksize:池化窗口的大小,取一个四维向量,一般是[1, height, width, 1],因为我们不想在batch和channels上做池化,所以这两个维度设为了1.

    • strides:和卷积类似,窗口在每一个维度上滑动的步长,一般也是[1, stride,stride, 1].

    • padding:和卷积类似,可以取'VALID' 或者'SAME'.

    返回一个Tensor,类型不变,shape仍然是[batch, height, width, channels]这种形式.

    TensorFlow代码:

    import tensorflow as tf
    import numpy as np
    
    g = tf.Graph()
    with g.as_default() as g:
        input = tf.Variable(np.array(range(9), dtype=np.float32).reshape(1,3,3,1))
        filter = tf.Variable(np.array(range(4), dtype=np.float32).reshape(2,2,1,1))
        op = tf.nn.conv2d(input, filter, strides=[1, 1, 1, 1], padding='SAME')
        pool = tf.nn.max_pool(op, [1,2,2,1], [1,1,1,1], padding='SAME')
    
    with tf.Session(graph=g) as sess:
        sess.run(tf.global_variables_initializer())
        PL = sess.run(pool)
        print(PL)
    

    输出:

    [[[[ 43.]
       [ 43.]
       [ 16.]]
    
      [[ 43.]
       [ 43.]
       [ 16.]]
    
      [[  8.]
       [  8.]
       [  0.]]]]
    
    * * *
    43 43 8
    43 43 8
    16 16 0

    tf.nn.avg_pool()

    计算方法: 计算非padding的元素的平均值

    例子:

    import tensorflow as tf
    import numpy as np
    
    g = tf.Graph()
    with g.as_default() as g:
        input = tf.Variable(np.array(range(9), dtype=np.float32).reshape(1,3,3,1))
        filter = tf.Variable(np.array(range(4), dtype=np.float32).reshape(2,2,1,1))
        op = tf.nn.conv2d(input, filter, strides=[1, 1, 1, 1], padding='SAME')
        pool = tf.nn.avg_pool(op, [1,2,2,1], [1,1,1,1], padding='SAME')
    
    with tf.Session(graph=g) as sess:
        sess.run(tf.global_variables_initializer())
        PL = sess.run(pool)
        print(PL)
    

    输出为:

    [[[[31.  ]
       [23.5 ]
       [13.  ]]
    
      [[23.75]
       [16.75]
       [ 8.  ]]
    
      [[ 7.5 ]
       [ 4.  ]
       [ 0.  ]]]]
    
    * * *
    31 23.75 7.5
    23.5 16.75 4.
    13. 8. 0.

    tf.nn.dropout()

    tf.nn.dropout(x, keep_prob, noise_shape=None, seed=None, name=None)

    • x:输入参数
    • keep_prob:保留比例。 取值 (0,1] 。每一个参数都将按这个比例随机变更
    • noise_shape:干扰形状。 此字段默认是None,表示第一个元素的操作都是独立,但是也不一定。比例:数据的形状是shape(x)=[k, l, m, n],而noise_shape=[k, 1, 1, n],则第1和4列是独立保留或删除,第2和3列是要么全部保留,要么全部删除。
    • seed:随机数种子
    • name: 命名空间

    tensorflow中的dropout就是:shape不变,使输入tensor中某些元素按照一定的概率变为0,其它没变0的元素变为原来的1/keep_prob.

    dropout层的作用: 防止神经网络的过拟合

    例子:

    import tensorflow as tf
    
    g = tf.Graph()
    with g.as_default() as g:
        mat = tf.Variable(tf.ones([10,10]))
        dropout_mat = tf.nn.dropout(mat, keep_prob=0.5)
    
    with tf.Session(graph=g) as sess:
        sess.run(tf.global_variables_initializer())
        output, dropout = sess.run([mat, dropout_mat])
        print(output)
        print(dropout)
    

    输出:

    [[1. 1. 1. 1. 1. 1. 1. 1. 1. 1.]
     [1. 1. 1. 1. 1. 1. 1. 1. 1. 1.]
     [1. 1. 1. 1. 1. 1. 1. 1. 1. 1.]
     [1. 1. 1. 1. 1. 1. 1. 1. 1. 1.]
     [1. 1. 1. 1. 1. 1. 1. 1. 1. 1.]
     [1. 1. 1. 1. 1. 1. 1. 1. 1. 1.]
     [1. 1. 1. 1. 1. 1. 1. 1. 1. 1.]
     [1. 1. 1. 1. 1. 1. 1. 1. 1. 1.]
     [1. 1. 1. 1. 1. 1. 1. 1. 1. 1.]
     [1. 1. 1. 1. 1. 1. 1. 1. 1. 1.]]
    [[2. 0. 0. 0. 2. 0. 2. 2. 0. 2.]
     [0. 2. 0. 0. 2. 2. 0. 0. 0. 0.]
     [2. 2. 2. 0. 0. 2. 0. 2. 0. 0.]
     [2. 0. 0. 0. 2. 2. 2. 0. 2. 0.]
     [0. 2. 2. 0. 2. 2. 2. 2. 0. 2.]
     [2. 0. 0. 0. 2. 0. 0. 2. 0. 2.]
     [2. 2. 0. 2. 2. 0. 0. 0. 2. 2.]
     [2. 0. 0. 0. 0. 2. 0. 2. 0. 0.]
     [2. 2. 0. 0. 0. 0. 0. 2. 0. 0.]
     [2. 0. 2. 2. 2. 2. 0. 2. 0. 0.]]
    

    tf.reshape()

    shape里最多有一个维度的值可以填写为-1,表示自动计算此维度

    相关文章

      网友评论

        本文标题:TensorFlow(3)CNN中的函数

        本文链接:https://www.haomeiwen.com/subject/ymfuiftx.html