做 AI 研究就像造宇宙飞船，除了充足的燃料之外，强劲的引擎也是必不可少的。假如燃料不足，则飞船就无法进入预定轨道。而引擎不够强劲，飞船甚至不能升空。类比于 AI，深度学习模型就好像引擎，海量的训练数据就好像燃料，这两者对于 AI 而言同样缺一不可。
深度学习是一个近几年备受关注的研究领域，在机器学习中起着重要的作用。深度学习通过建立、模拟人脑的分层结构来实现对外部输入的数据进行从低级到高级的特征提取，从而能够解释外部数据。
中发智造前沿-AI 人工智能的深度学习进行详谈
深度学习
深度学习（Deep Learning）的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。
深度学习也称为深度结构学习【Deep Structured Learning】、层次学习【Hierarchical Learning】或者是深度机器学习【Deep Machine Learning】）是一类算法集合，是机器学习的一个分支。它尝试为数据的高层次摘要进行建模。
机器学习通过算法，让机器可以从外界输入的大量的数据中学习到规律，从而进行识别判断。机器学习的发展经历了浅层学习和深度学习两次浪潮。深度学习可以理解为神经网络的发展，神经网络是对人脑或生物神经网络基本特征进行抽象和建模，可以从外界环境中学习，并以与生物类似的交互方式适应环境。神经网络是智能学科的重要部分，为解决复杂问题和智能控制提供了有效 的途径。神经网络曾一度成为机器学习领域备受关注的方向。
我们用一个简单的例子来说明，假设你有两组神经元，一个是接受输入的信号，一个是发送输出的信号。当输入层接收到输入信号的时候，它将输入层做一个简单的修改并传递给下一层。在一个深度网络中，输入层与输出层之间可以有很多的层（这些层并不是由神经元组成的，但是它可以以神经元的方式理解），允许算法使用多个处理层，并可以对这些层的结果进行线性和非线性的转换。
深度学习的由来
１、人脑视觉机理启示
人类每时每刻都面临着大量的感知数据，但大脑总能很容易地捕获重要的信息。人工智能的核心问题就是模仿大脑这种高效准确地表示信息的能力。通 过 近些年的研究，我们对大脑机理已有了一些了解，这些都推动了人工智能的发展。
神经学研究表明，人的视觉系统的信息处理是分级的，从低级的Ｖ1 区提取边缘特征，到Ｖ2 区的形状，再到更高层。人类大脑在接收到外部信号时，不是直接对数据进行处理，而是通过一个多层的网络模型来获取数据的规律。这种层次
结构的感知系统使视觉系统需要处理的数据量大大减少，并保留了物体有用的结构信息。
２、现有机器学习的局限性
深度学习与浅层学习相对。现在很多的学习方法都是浅层结构算法，它们存在一定的局限性，比如在样本有限的情况下表示复杂函数的能力有限，针对复杂的分类问题其泛化能力受到一定制约。
而深度学习可通过学习一种深层非线性网络结构，实现复杂函数逼近，表征输 入数据分布式表示，并且能在样本集很少的情况下去学习数据集的本质特征。
虽然浅层学习的应用也很广泛，但它只对简单的计算才有效，并不能到达人脑的反应效果，这就需要深度的机器学习。这些都表明浅层学习网络有很大的局限性，激发了我们对深度网络建模的研究。
深度机器学习是数据分布式表示的必然结果。有很多学习结构的学习算法得到的学习器是局部估计算子，例如，由核方法构造的学习器，是由对模板的匹配度加权构成的。对于这样的问题，通常我们有合理的假设，但当目标函数非常复杂时，由于需要利用参数进行描述的区域数目也是巨大的，因此这样的模型 泛化能力很差。在机器学习和神经网络研究中分布式表示可以处理维数灾难和局部泛化限制。分布式表示不仅可以很好地描述概念间的相似性，而且合适的分布式表示在有限的数据下能体现出更好的泛化性能。理解和处理接收到的信 息是人类认知活动的重要环节，由于这些信息的结构一般都很复杂，因此构造
深度的学习机器去实现一些人类的认知活动是很有必要的。
３、特征提取的需要
机器学习通过算法，让机器可以从外界输入的大量数据中学习到规律，从而进行识别判断。机器学习在解决识别、语音识别、自然语言理解等问题时的 大致流程如图 １ 所示。
CNNs 是人工神经网络的一种，其适应性强，善于挖掘数据局部特征。它的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量，使得 CNNs 在模式识别中的各个领域得到应用并取得了很好的结果。CNNs 通过结合局部感知区域、共享权重、空间或时间上的降采样来充分利用数据本身包含的局部性等特征，优化网络结构，并且保证一定程度上的位移的不变性。由 LeCun 出的 LeNet 模型在应用到各种不同的图像识别任务时都取得了不错的效果，被认为是通用图像识别系统的代表之一。通过这些年的研究工作，CNNs 的应用越来越多，如人脸检测 、文档分析 、语音检测 、车牌识别等 方面。2006 年 Kussul 等人提出的采用排列编码技术的神经网络在人脸识别、手写数字识别和小物体识别等识别任务上都取得了与一些专用分类系统相当的性能表现；并且在 2012 年，研究人员把视频数据里连续的帧当作卷积神经网络的输入数据，这样就可以引入时间维度上的数据，从而识别人体的动作。
２、无监督学习：深度置信网 DBNs
DBNs 是目前研究和应用都比较广泛的深度学习结构，它由多个受限玻尔兹曼机 累加而成。RBM 结构如图４ 所示，分为可视层即输入数据层（υ）和隐藏层（ｈ），每一层的节点之间没有连接，但层和层之间彼此互连。相比传统的 sigmoid 信念网络，RBM 易于连接权值的学习。Hinton 等人认 为，如果一个典 型的 DBN 有ｌ个隐含层，那么可以用联合概率分布来描述输入数据υ和隐含向量的关系：
其中，是条件概率分布。DBN 学习的过程中，所要学习的就是联合概率分布，在机器学习的领域中，联合概率分布的意义就是对象的生成。
网友评论