Keras-mnist

Keras-mnist111

日期:2016 /06 /03 15:15:52

版本 python ??

!/usr/bin/python

-- coding:utf-8 --

fromfutureimport print_function

import numpy as np

np.random.seed(1337) # for reproducibility

from keras.datasets import mnist

from keras.models import Sequential

from keras.layers.core import Dense, Dropout, Activation

from keras.optimizers import SGD, Adam, RMSprop

from keras.utils import np_utils

batch_size = 128

nb_classes = 10

nb_epoch = 1

初始化一个模型

model = Sequential()

输入向量是784维度的，第一个影藏层是1000个节点，init代表的是链接矩阵中的权值初始化

'''

init 初始化参数:

uniform(scale=0.05) :均匀分布，最常用的。Scale就是均匀分布的每个数据在-scale~scale之间。此处就是-0.05~0.05。scale默认值是0.05；

lecun_uniform:是在LeCun在98年发表的论文中基于uniform的一种方法。区别就是lecun_uniform的scale=sqrt(3/f_in)。f_in就是待初始化权值矩阵的行。

normal：正态分布（高斯分布）。

identity ：用于2维方阵，返回一个单位阵

orthogonal：用于2维方阵，返回一个正交矩阵。

zero：产生一个全0矩阵。

glorot_normal：基于normal分布，normal的默认 sigma^2=scale=0.05，而此处sigma^2=scale=sqrt(2 / (f_in+ f_out))，其中，f_in和f_out是待初始化矩阵的行和列。

glorot_uniform：基于uniform分布，uniform的默认scale=0.05，而此处scale=sqrt( 6 / (f_in +f_out)) ，其中，f_in和f_out是待初始化矩阵的行和列。

he_normal：基于normal分布，normal的默认 scale=0.05，而此处scale=sqrt(2 / f_in)，其中，f_in是待初始化矩阵的行。

he_uniform：基于uniform分布，uniform的默认scale=0.05，而此处scale=sqrt( 6 / f_in)，其中，f_in待初始化矩阵的行。

'''

model.add(Dense(1000, input_dim=784, init='glorot_uniform'))

model.add(Activation('relu')) # 激活函数是tanh

model.add(Dropout(0.5)) # 采用50%的dropout

第二个隐藏层是500个节点

model.add(Dense(500, init='glorot_uniform'))

model.add(Activation('relu'))

model.add(Dropout(0.5))

第三层是输出层，输出结果是10个类别，所以维度是10

model.add(Dense(10, init='glorot_uniform'))

model.add(Activation('softmax')) # 最后一层用softmax

设定参数

lr表示学习速率，decay是学习速率的衰减系数(每个epoch衰减一次)，momentum表示动量项，Nesterov的值是False或者True，表示使不使用Nesterov momentum。

sgd = SGD(lr=0.01, decay=1e-6, momentum=0.9,nesterov=True)

loss代表的是损失函数, optimizer代表的是优化方法, class_mode代表

使用交叉熵作为loss函数，就是熟知的log损失函数

model.compile(loss='categorical_crossentropy',optimizer=sgd, class_mode='categorical')

使用Keras自带的mnist工具读取数据（第一次需要联网）

(X_train, y_train), (X_test, y_test) = mnist.load_data()

由于输入数据维度是(num, 28, 28)，这里需要把后面的维度直接拼起来变成784维

X_train = X_train.reshape(X_train.shape[0],X_train.shape[1]X_train.shape[2])

X_test = X_test.reshape(X_test.shape[0], X_test.shape[1]X_test.shape[2])

X_train = X_train.astype('float32')

X_test = X_test.astype('float32')

X_train /= 255

X_test /= 255

print(X_train.shape[0], 'train samples')

print(X_test.shape[0], 'test samples')

这里需要把index转换成一个one hot的矩阵

Y_train = (np.arange(10) == y_train[:,None]).astype(int)

Y_test = (np.arange(10) == y_test[:,None]).astype(int)

'''

convert class vectors to binary class matrices

Y_train = np_utils.to_categorical(y_train, nb_classes)

Y_test = np_utils.to_categorical(y_test, nb_classes)

'''

开始训练，这里参数比较多。batch_size就是batch_size，nb_epoch就是最多迭代的次数， shuffle就是是否把数据随机打乱之后再进行训练

verbose是屏显模式，官方这么说的：verbose: 0 for no logging to stdout, 1 for progress bar logging, 2 for one log line per epoch.

就是说0是不屏显，1是显示一个进度条，2是每个epoch都显示一行数据

show_accuracy就是显示每次迭代后的正确率

validation_split就是拿出百分之多少用来做交叉验证

model.fit(X_train, Y_train, batch_size=batch_size, nb_epoch=nb_epoch,shuffle=True, verbose=1, show_accuracy=True, validation_split=0.3)

print ('test set')

score = model.evaluate(X_test, Y_test, batch_size=200,show_accuracy=True, verbose=1)

print('Test score:', score[0])

print('Test accuracy:', score[1])