卷积神经网络概述及python实现

作者: 阿里云云栖号 | 来源:发表于2018-08-30 11:29 被阅读248次

摘要： 本文概括地介绍CNN的基本原理，并通过阿拉伯字母分类例子具体介绍其实现过程，理论与实践的结合体。

对于卷积神经网络（CNN）而言，相信很多读者并不陌生，该网络近年来在大多数领域都表现优异，尤其是在计算机视觉领域中。但是很多工作人员可能直接调用相关的深度学习工具箱搭建卷积神经网络模型，并不清楚其中具体的原理。本文将简单介绍卷积神经网络（CNN），方便读者大体上了解其基本原理及实现过程，便于后续工作中的实际应用。本文将按以下顺序展开：

• 了解卷积操作

• 了解神经网络

• 数据预处理

• 了解CNN

• 了解优化器

• 理解 ImageDataGenerator

• 进行预测并计算准确性

• demo

什么是卷积？

在数学（尤其是函数分析）中，卷积是对两个函数（f和g）的数学运算，以产生第三个函数，该函数表示一个函数的形状如何被另一个修改。（来源：维基百科）

此操作在多个领域都有应用，如概率、统计、计算机视觉、自然语言处理、图像和信号处理、工程和微分方程。

该操作在数学上表示为：

卷积操作

查看此链接以更加直观地了解卷积操作。

什么是人工神经网络？

人工神经网络（ANN）或连接系统是由构成动物大脑的生物神经网络模糊地启发的计算系统。这些系统通过从示例中“学习”以执行任务，通常不需要使用用任何特定规则来编程。（来源：维基百科）

人工神经网络是一个较小的处理单元集合，称为人工神经元，它们与生物神经元相似。

生物神经回路

生物神经回路

神经元之间的互联构成了一个网络模型

人工神经网络

人工神经网络

现在，我们开始具体实现。

导入必要的数据包

加载数据集

数据集

此处使用的数据集是手写数据集。

trainIamges.csv有1024列和13440行。每列表示图像中的像素，每行表示一张单独的灰度图像。每个像素的取值范围是0到255之间的值。

可视化数据集

训练数据集

训练数据集

测试数据集

测试数据集

数据预处理

编码分类变量

什么是分类变量？

在统计学中，分类变量是一个可以承担限制变量之一的变量，基于某些定性属性将每个个体或其他观察单元分配给特定组或名义类别。（来源：维基百科）

简单来说，分类变量的值表示类别或类。

为什么需要编码分类变量？

直接对表示类别的数字执行操作没有意义。因此，需要对其进行分类编码。

请查看此链接以了解分类变量示例。

阿拉伯字母表中有28个字母。因此，数据集有28个类别。

标准化

什么是标准化？

进行归一化以使整个数据进入明确定义的范围，一般选择归一化到0到1之间

在神经网络中，不仅要对数据进行标准化，还要对其进行标量化，这样处理的目的是能够更快地接近错误表面的全局最小值。（来源：Stack Overflow）

对其进行变形操作使得每条数据表示一个平面图像

按功能划分的零中心将每个样本的中心置零，并指定平均值。如果未指定，则对所有样品评估平均值。

建立CNN

最大池化（Max Pooling）是什么？

池化意味着组合一组数据，组合数据的过程中应该遵循一些规则。

根据定义，最大池化选取一组数据中的最大值作为其输出值。（来源：machinelearningonline.blog）

最大池还可以用于减小特征维度，它还可以避免过拟合的发生。查看此博客，以便更好地了解Max Pooling。

什么是Dropout？

Dropout是一种正则化技术，通过防止对训练数据进行复杂的协同适应来减少神经网络中的过拟合，这是神经网络模型中十分有效的方法之一。“ 丢失”指的是在神经网络中以某一个概率随机地丢弃部分神经单元。（来源：维基百科）

什么是Flatten？

对特征图进行展平，以将多维数据转换为一维特征向量，以供下一层（密集层）使用

什么是密集层？

密集层只是一层人工神经网络，也被称作全连接层。

CNN的优化方法

什么是优化？

优化算法帮助我们最小化（或最大化）目标函数，目标函数只是一个数学函数，取决于模型内部可学习的参数。模型中使用预测变量集（X）计算目标值（Y）。例如，我们将神经网络的权重（W）和偏差（b）值称为其内部可学习参数，用于计算输出值，并在最优解的方向上学习和更新这些参数，即最小化损失网络。这就是神经网络的训练过程。（来源：数据科学）