一旦解决了数据表达和特征提取,很多人工智能任务也就解决了90%。
深度学习解决的核心问题之一就是自动地将简单的特征组合成更加复杂的特征,并使用这些组合特征解决问题。深度学习是机器学习的一个分支,它除了可以学习特征和任务之间的关联外,还能自动地从简单特征中提取更加复杂的特征。
深度学习的通用性。
人工智能是一类非常广泛的问题,机器学习是解决这类问题的一个重要手段,深度学习则是机器学习的一个分支。在很多人工智能问题上,深度学习的方法突破了传统机器学习方法的瓶颈,推动了人工智能领域的发展。
深度学习,基本上是深层神经网络的一个代名词。
神经网络的发展,大致可以分为三个阶段:第一阶段,感知机模型的提出(只能解决线性可分问题;当时计算能力下,实现多层神经网络不可能);第二阶段,分布式知识表达和反向传播算法的提出(分布式的知识表达的核心思想是现实世界中的知识和概念应该通过多个神经元来表达,而模型中的每一个神经元也应该参与表达多个概念,这样就大大加强了模型表达能力,让神经网络从宽度的方向走向了深度的方向。反向传播算法大幅降低了训练神经网络所需要的时间。失败两个原因,一是当时计算资源下训练深层神经网络非常困难,二是当时数据量比较少,无法满足训练深层神经网络的需要);第三阶段,深度学习的发展开启了一个AI的新时代。
深度学习里最经典的模型是全连接的神经网络,就是每相临的两层之间节点之间是通过边全连接;再就是卷积神经网络,这个在计算机视觉里面用得非常多;再就是循环神经网络RNN,这个在对系列进行建模,例如自然语言处理或者语音信号里面用得很多,这些都是非常成功的深度神经网络的模型。还有一个非常重要的技术就是深度强化学习技术,这是深度学习和强化学习的结合,也是AlphaGo系统所采用的技术。
深度学习的成功主要归功于三大因素——大数据、大模型、大计算。现在可以利用的数据特别是人工标注的数据非常多,使得我们能够从数据中学到以前没法学习的东西。另外技术上的发展使得训练大模型成为了可能,例如上千层的深度神经网络,这个在四年以前(今年2017年)都觉得不能想象的事情,现在都已经发展成为现实,并且在产品中都有了很广泛的使用。再就是大计算,从CPU到GPU,可获取的计算资源越来越丰富。
网友评论