上世纪80年代，神经网络曾经是机器学习领域最流行的一个方向,但是因为其容易产生过拟合、参数比较难训练出来,及训练速度比较慢等等问题使其发展受到很大的限制。
近年来，神经科学研究人员在对哺乳动物的视神经皮质的研究中，发现视网膜输出的神经信号并不是直接传入脑部的,其在传递过程中经过了复杂的神经元间的信号交换过程,视网膜信号向大脑传递的过程并不是简单图像预处理过程,而是复杂的图像信息推导和获取过程,信息在进入大脑之前被提前提取和分析出了图像数据展现的规则。这一发现也揭示了大脑不是直接通过视网膜投影的外部世界图像，而是由视觉神经提取和分析后得到的图像数据来对物体进行识别。
生物的这种分层次提取外部世界图像的图像信息，并抓住对识别物体有用的信息对图像进行识别的视觉系统，能够很大程度的减少感知系统处理的数据量。这个发现导致了深度机器学习领域的出现,深度学习(Deeping Learning)本身算是机器学习(Machine Learning)的一个分支,它是神经网络的发展。
深度学习算法能够通过逐层次的抽象把物体的底层特征抽象为中层特征,把中层特征在抽象成高层次的特征表示,得到的在底层特征上建立的高层次特征，能够更有效的对物体进行识别和分类。深度学习理论是神经网络理论发展到一定程度后产物,可以说它是神经网络的另一种延续,早期的具有多个隐含层的多层感知器(MLP)就是一种比较简单的深度学习结构。Hinton教授在2006年提出的限制玻尔兹曼机(RBM)为基础构建的深度信念网络(DBN)的方法,该方法很好的克服了误差反传神经网络的优化结果的局域性问题,DNB也是目前研巧和应用都比较成功的深度学习结构。DBN是由许多RBM构成的深度结构,单个的RBM单元是一种基本的神经网络结构,它内部包含可视层和隐含层,层与层之间相互连接，但是层内无连接,当输入可视层数据时通过隐含层单元可W得到输入数据的高阶相关性。
RBM的权值的更新与传统的神经网络相比更加容易,为了得到一系列RBM单元的权值,输入向量通过可视层映射到隐含层单元在隐含层得到输入向量的另一种表示,然后在再映射到下一层的可视层中由新的可视层单元重建,反复的重复这样的步骤称为吉布斯采样。经过吉布斯采样得到一些学习过的网络层次后,由这一系列RBM组成的网络的权值就可W通过一个有监督的学习算法来调整权重从而达到学习的效果。在此之后,一些基于多层RBM上的自动编码器算法也随之被人们研究出来,这些算法的出现也使得深度信念网络的每一层都可通过无监督学习算法来训练。
深度学习的优势在于它的模型具有层次性,参数比较多并且容量足够大,因而可W更好的将数据特征表示出来。针对图像和语音识别比较困难的问题,虽然需要人工的设计,但是可以在大量训练数据的基础上取得好的结果。此外,深度学习很好的将分类器与特征结合在一个框架内,使用训练样本去学习获得特征,送样的好处在于可减少人工的设计干预,大大减少了工作量并且提高了识别的效率。
目前,深度学习还处在发展阶段,仅仅是在某些问题上取得非常优秀的效果,一些细节上完善都有待于进一步的发展和完善,如模型方面是否有其他更为有效且有理论依据的深度模型学习算法,此外有效的可并行训练算法也是值得研究的一个方向,而且如何利用深度学习理论与其他传统学习算法相互结合，来得到更高的性能，并在更广阔的实际任务中得到应用仍是需要努力的方向。
网友评论