本文要学习如何用 TensorFlow 2.0 识别 Fashion MNIST。
MNIST 可以说是深度学习里面的 Hello World 了，几乎每个 AI/ML/Data Science 教程里面都用 MNIST 手写识别数字来开启，
不过呢，现在 MNIST 已经显得很简单了，CNN 可以达到 99.7% ，
用的也太多了，而且已经不能代表当前的计算机视觉的主流任务了。
Fashion-MNIST：
https://github.com/zalandoresearch/fashion-mnist
是来自 Zalando 文章的数据集，是时尚版的 MNIST，
包括 60,000 个训练集数据，10,000 个测试集数据， 每个数据为 28x28 灰度图像，一共有 10 类：
0 T-shirt/top
1 Trouser
2 Pullover
3 Dress
4 Coat
5 Sandal
6 Shirt
7 Sneaker
8 Bag
9 Ankle boot
1. 安装所需包
!pip install tensorflow==2.0.0-alpha0
!pip install -U tensorflow_datasets
from __future__ import absolute_import, division, print_function
# Import TensorFlow and TensorFlow Datasets
import tensorflow as tf
import tensorflow_datasets as tfds
tf.logging.set_verbosity(tf.logging.ERROR)
# Helper libraries
import math
import numpy as np
import matplotlib.pyplot as plt
# Improve progress bar display
import tqdm
import tqdm.auto
tqdm.tqdm = tqdm.auto.tqdm
print(tf.__version__)
2. 下载数据，分为训练集/测试集
这部分的代码都变得很简单，class_names 为 10 个类别：
dataset, metadata = tfds.load('fashion_mnist', as_supervised=True, with_info=True)
train_dataset, test_dataset = dataset['train'], dataset['test']
class_names = ['T-shirt/top', 'Trouser', 'Pullover', 'Dress', 'Coat',
'Sandal', 'Shirt', 'Sneaker', 'Bag', 'Ankle boot']
3. 数据预处理
num_train_examples = metadata.splits['train'].num_examples
num_test_examples = metadata.splits['test'].num_examples
print("Number of training examples: {}".format(num_train_examples))
print("Number of test examples: {}".format(num_test_examples))
Number of training examples: 60000
Number of test examples: 10000
4. 标准化
数据中每个像素的值在 [0,255]，
首先，构造一个函数，将这些值标准化为[0,1]之间，再应用于测试集和训练集中的每个图像上。
def normalize(images, labels):
images = tf.cast(images, tf.float32)
images /= 255
return images, labels
# The map function applies the normalize function to each element in the train
# and test datasets
train_dataset = train_dataset.map(normalize)
test_dataset = test_dataset.map(normalize)
5. 数据可视化
看一下标准化后的数据的前 25 个。
plt.figure(figsize=(10,10))
i = 0
for (image, label) in test_dataset.take(25):
image = image.numpy().reshape((28,28))
plt.subplot(5,5,i+1)
plt.xticks([])
plt.yticks([])
plt.grid(False)
plt.imshow(image, cmap=plt.cm.binary)
plt.xlabel(class_names[label])
i += 1
plt.show()
6. 定义模型
这个模型有三层，
input： tf.keras.layers.Flatten，没有参数，只是转换数据，将 28 × 28 转换为 1 × 784 .
hidden： tf.keras.layers.Dense，
output： tf.keras.layers.Dense，一个 10 节点的 softmax 层，代表属于每个类的概率
model = tf.keras.Sequential([
tf.keras.layers.Flatten(input_shape=(28, 28, 1)),
tf.keras.layers.Dense(128, activation=tf.nn.relu),
tf.keras.layers.Dense(10, activation=tf.nn.softmax)
])
7. 模型编译
model.compile(optimizer='adam',
loss='sparse_categorical_crossentropy',
metrics=['accuracy'])
8. 训练模型
dataset.repeat（）是要一直重复，用 epochs 参数来控制训练的时间，
dataset.shuffle（60000）将训练集顺序打乱，
dataset.batch（32）告诉 model.fit 每批用 32 个图像和标签数据。
BATCH_SIZE = 32
train_dataset = train_dataset.repeat().shuffle(num_train_examples).batch(BATCH_SIZE)
test_dataset = test_dataset.batch(BATCH_SIZE)
这里只迭代 5 次，看看效果：
model.fit(train_dataset, epochs=5, steps_per_epoch=math.ceil(num_train_examples/BATCH_SIZE))
9. 模型评估
test_loss, test_accuracy = model.evaluate(test_dataset, steps=math.ceil(num_test_examples/32))
print('Accuracy on test dataset:', test_accuracy)
313/313 [==============================] - 3s 8ms/step - loss: 0.3669 - acc: 0.8670
Accuracy on test dataset: 0.867
10. 模型预测
for test_images, test_labels in test_dataset.take(1):
test_images = test_images.numpy()
test_labels = test_labels.numpy()
predictions = model.predict(test_images)
11. 结果可视化
plot_image：
如果预测标签和实际标签是一样的，则字是蓝色的，否则是红色的
预测标签就是预测的向量所代表的 10 个概率值中最大的那个
plot_value_array：画出每个图片的 10 个预测概率的柱状图
def plot_image(i, predictions_array, true_labels, images):
predictions_array, true_label, img = predictions_array[i], true_labels[i], images[i]
plt.grid(False)
plt.xticks([])
plt.yticks([])
plt.imshow(img[...,0], cmap=plt.cm.binary)
predicted_label = np.argmax(predictions_array)
if predicted_label == true_label:
color = 'blue'
else:
color = 'red'
plt.xlabel("{} {:2.0f}% ({})".format(class_names[predicted_label],
100*np.max(predictions_array),
class_names[true_label]),
color=color)
def plot_value_array(i, predictions_array, true_label):
predictions_array, true_label = predictions_array[i], true_label[i]
plt.grid(False)
plt.xticks([])
plt.yticks([])
thisplot = plt.bar(range(10), predictions_array, color="#777777")
plt.ylim([0, 1])
predicted_label = np.argmax(predictions_array)
thisplot[predicted_label].set_color('red')
thisplot[true_label].set_color('blue')
看一下结果：
# Plot the first X test images, their predicted label, and the true label
# Color correct predictions in blue, incorrect predictions in red
num_rows = 5
num_cols = 3
num_images = num_rows*num_cols
plt.figure(figsize=(2*2*num_cols, 2*num_rows))
for i in range(num_images):
plt.subplot(num_rows, 2*num_cols, 2*i+1)
plot_image(i, predictions, test_labels, test_images)
plt.subplot(num_rows, 2*num_cols, 2*i+2)
plot_value_array(i, predictions, test_labels)
学习资料：
Udacity： TensorFlow course
https://classroom.udacity.com/courses/ud187
大家好！
我是 不会停的蜗牛 Alice，
喜欢人工智能，没事儿写写机器学习干货，
欢迎关注我！
网友评论