1.什么是深度学习
深度学习是训练神经网络的一种方法，可以训练很深的神经网络，属于机器学习分支。
2.什么是神经网络
下面是个房子预测例子。
图1.1 房子价格预测
根据价格随房子大小变化，可以绘制出蓝线，蓝线可以看成房子价格预测的拟合函数，这就是一个最简单的神经网络。
图1.2 最简单神经网络
如图1.2，把房子大小作为神经网络输入，价格作为神经网络输出，中间圆圈就是独立神经元，神经元负责运算输入并得到输出。
大的神经网络也是通过小神经网络搭建起来，就像乐高积木一样一个个堆叠起来。
图1.3 稍大一点的神经网络
如图1.3，这是稍大一点的神经网络，是由多个图1.2神经网络搭建起来，其中的小圆圈是ReLU函数（全称是修正线性单元，修正指的是取不小于零的值）或者其他函数。输入为房子大小、卧室数量、邮政编码、富裕程度，其中房子大小和卧室数量体现了家庭大小，邮政编码体现了步行化程度，邮政编码和富裕程度体现了附近学校质量，然后再由家庭大小、步行化程度和附近学校质量得到房子价格。神经网络搭建完成后，我们只负责输入和得到输出，中间部分神经网络自己运算。
图1.4 稍大一点的神经网络标准图
由图1.3我们得到图1.4，其中的小圆圈规范化叫法是隐藏单元。在深度学习中，我们并不知道也不假设哪个隐藏单元代表家庭大小，哪个隐藏单元代表学校质量等，这些都交给深度学习自己去处理，我们负责喂给神经网络足够输入就好。
3.用神经网络进行监督学习
目前几乎所有由神经网络创造的经济价值都是基于一种机器学习，称之为监督学习。
图1.5 监督学习一些应用例子
如图1.5，监督学习应用领域有房地产、广告、图片处理、语音识别、翻译、自动驾驶等，其中房地产和广告使用全连接神经网络（标准神经网络，缩写NN）；图片处理使用卷起神经网络（缩写CNN）；语音识别和翻译输入是序列数据，使用循环神经网络（缩写RNN）；自动驾驶涉及内容较多（图像处理、雷达数据处理等），使用混合神经网络。
下图粗略展示了各神经网络的形状
图1.6 各类神经网络示意图
机器学习可以应用于结构化数据和非结构化数据。
图1.7 结构化与非结构化数据
如图1.7，应用于结构化数据的例子有广告系统、房子价格预测等，应用于非结构化数据的例子有语音识别、图像处理、翻译等。
4.为什么深度学习会兴起
深度学习和神经网络背后的技术理念已有几十年，为什么会突然兴起？
图1.8 各规模神经网络性能和数据量关系
如图1.8，横轴代表完成任务的数据量，纵轴代表机器学习算法的性能。其中红线是传统机器学习算法（仅用一个支持向量机或logistic回归等作为数据量的函数），黄线是小型神经网络，蓝线是中性神经网络，绿线是大型神经网络。从中可以看出，数据量越大，神经网络越大，则学习算法表现越好。在过去二十年，收集海量数据特别艰难，小量的数据在传统机器学习表现得往往更好。如今数据大爆发，收集数据轻而易举。随着任务数据量的增加，传统机器学习表现不佳，从而需要不断扩大神经网络规模（包含许多隐藏单元、许多参数、许多连接），不断改善算法，也就成了今天的深度学习，数据量增多、计算机计算能力进展和算法改进是深度学习兴起的主要原因。
图1.9 学习算法迭代过程
如图1.9，算法迭代过程是有想法接着编码然后验证再接着修改再验证的过程。
学习算法必须考虑两件事才能达到高水平的性能：
1.能够训练足够大的神经网络
2.大量的标记数据
网友评论