CNN实现对CIFAR-10数据集的识别

构建一个卷积神经网络实现对CIFAR-10数据集的识别，CNN使用3个同卷积操作（步长为1，same），卷积层后面接池化层，实现特征降维。最后再用均值池化得到10个特征，输入softmax实现分类。
接下来是来自灵魂画手的网络结构图：

实验结论，卷积核的通道数等于输入的通道数，因为要对应每一层通道做卷积；卷积核的个数决定了输出特征图的个数，每一个卷积核输出一个特征图（多通道结果叠加），这是其中的逻辑所在。
这个网络结构最后使用的是全局平均池化层，以往模型通常利用全连接层实现，但是从实验结果看，两者效果并没有显著差别，反而全连接层需要更多的计算，所以使用全局平均池化层效率更高。

import cifar10_input
import tensorflow as tf
import numpy as np
batch_size = 128
data_dir = 'cifar10_data/cifar-10-batches-bin'
print("begin")
images_train, labels_train = cifar10_input.inputs(eval_data = False,data_dir = data_dir, batch_size = batch_size)
images_test, labels_test = cifar10_input.inputs(eval_data = True, data_dir = data_dir, batch_size = batch_size)
print("begin data")
#定义参数函数，输入大小，返回一个tf变量
def weight_variable(shape):
    initial = tf.truncated_normal(shape, stddev=0.1)#生成标准差为0.1的随机数进行初始化
    return tf.Variable(initial)

def bias_variable(shape):
    initial = tf.constant(0.1, shape=shape)
    return tf.Variable(initial)
#定义同卷积操作
def conv2d(x, W):
    return tf.nn.conv2d(x, W, strides=[1, 1, 1, 1], padding='SAME')
#最大池化层，步长为2，将原尺寸长宽变成一半
def max_pool_2x2(x):
    return tf.nn.max_pool(x, ksize=[1, 2, 2, 1],strides=[1, 2, 2, 1], padding='SAME')  
#均值池化层
def avg_pool_6x6(x):
    return tf.nn.avg_pool(x, ksize=[1, 6, 6, 1],strides=[1, 6, 6, 1], padding='SAME')
#定义占位符
x = tf.placeholder(tf.float32, [None, 24,24,3]) # cifar data image of shape 24*24*3
y = tf.placeholder(tf.float32, [None, 10]) # 0-9 数字=> 10 classes
#3通道，64个卷积核变量
W_conv1 = weight_variable([5, 5, 3, 64])
b_conv1 = bias_variable([64])
#调整好x格式
x_image = tf.reshape(x, [-1,24,24,3])
#第一次卷积加池化-->12*12 得到64个特征图
h_conv1 = tf.nn.relu(conv2d(x_image, W_conv1) + b_conv1)
h_pool1 = max_pool_2x2(h_conv1)
#64通道，64个卷积核变量
W_conv2 = weight_variable([5, 5, 64, 64])
b_conv2 = bias_variable([64])
#第二次卷积加池化-->6*6 得到64个特征图
h_conv2 = tf.nn.relu(conv2d(h_pool1, W_conv2) + b_conv2)
h_pool2 = max_pool_2x2(h_conv2)
#64通道，10个卷积核变量
W_conv3 = weight_variable([5, 5, 64, 10])
b_conv3 = bias_variable([10])
#第三次卷积-->6*6 得到10个特征图
h_conv3 = tf.nn.relu(conv2d(h_pool2, W_conv3) + b_conv3)
#进行一次均值池化
nt_hpool3=avg_pool_6x6(h_conv3)#得到10个值
nt_hpool3_flat = tf.reshape(nt_hpool3, [-1, 10])
#经过softmax分类
y_conv=tf.nn.softmax(nt_hpool3_flat)
#定义损失函数
cross_entropy = -tf.reduce_sum(y*tf.log(y_conv))
train_step = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy)
correct_prediction = tf.equal(tf.argmax(y_conv,1), tf.argmax(y,1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, "float"))
sess = tf.Session()
sess.run(tf.global_variables_initializer())
tf.train.start_queue_runners(sess=sess)#队列操作，边读边算
for i in range(15000):#迭代次数
    image_batch, label_batch = sess.run([images_train, labels_train])#运行这两个图获得数据，传给两个新变量
    label_b = np.eye(10,dtype=float)[label_batch] #将获得的标签转化成one hot向量
 
    train_step.run(feed_dict={x:image_batch, y: label_b},session=sess)
  
    if i%200 == 0:
        train_accuracy = accuracy.eval(feed_dict={
        x:image_batch, y: label_b},session=sess)
        print( "step %d, training accuracy %g"%(i, train_accuracy))
image_batch, label_batch = sess.run([images_test, labels_test])
label_b = np.eye(10,dtype=float)[label_batch]#one hot
print ("finished！ test accuracy %g"%accuracy.eval(feed_dict={
     x:image_batch, y: label_b},session=sess))