深度神经网络学习笔记

最近做了个和深度神经网络相关的项目，是关于深度神经网络在金融市场模式识别的应用。越接触越觉得生涩难懂，所以想简单做下学习笔记，把所得归纳下来（全部都是超小白的东西）

一、什么是深度神经网络

1.机器学习

要说神经网络，绕不开的一个概念就是机器学习，随着16年AI概念的大火，机器学习也被越来越多的人所提起。所谓机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。

它是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域，它主要使用归纳、综合而不是演绎。其中神经网络作为一种机器学习的学习模型，由于在信息的学习和联想上具有天然理论机理上的优势，正在变得越来越重要。

2.神经网络

人工神经网络（Artificial Neural Networks，简写为ANNs）也简称为神经网络（NNs）或称作连接模型（Connection Model），它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。

神经网络是通过对人脑的基本单元——神经元的建模和联接，探索模拟人脑神经系统功能的模型，并研制一种具有学习（包括纠错和再次学习）、联想、记忆和模式识别等智能信息处理功能的人工系统。神经网络的一个重要特性是它能够从环境中学习，并把学习的结果分布存储于网络的突触连接中。神经网络的学习是一个过程，在其所处环境的激励下，相继给网络输入一些样本模式，并按照一定的规则（学习算法）调整网络各层的权值矩阵，待网络各层权值都收敛到一定值，学习过程结束。然后我们就可以用生成的神经网络来对真实数据做分类。

3.深度神经网络

区别于传统的浅层神经网络，深度神经网络的不同在于：
1）强调了模型结构的深度，通常有5层、6层，甚至10多层的隐层节点；
2）明确突出了特征学习的重要性，也就是说，利用无监督学习算法，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更加容易。与人工规则构造特征的方法相比，利用大数据来学习特征，更能够刻画数据的丰富内在信息。

所以深度神经网络的主要问题就在于：如何设计网络结构（尤其是无监督算法的选择）和网络参数的优化（避免局部最优和梯度稀释）

监督学习和无监督学习的区别主要在于模型学习前是否对数据进行标签化处理

二、深度神经网络的训练

所有的都是模型对现实问题的抽象模拟，这其中最关键的就是利用现实世界中产生的数据来训练模型如何去拟合现实。而这涉及到估算通过神经网络学习的权重参数W(l)，在神经网络的架构下，权重参数代表了如何进行特征转换，也就是转换输入特征的表现形式，也称为编码（encoding）。training的目的就是学习这些权重参数的，训练的主要目标是：1.以更精炼的形式（特征维数减少）保存前面一层的信息；2.同时尽可能少的丢失上一层的信息（也称为information-preserving encoding）；3.使用转换后的特征还可以很容易地重构出原始的特征；

自编码即是一种满足上述要求的技术，在项目中，我们一共使用了七层自编码神经网络，网络规模千万节点左右，在实际训练过程中，主要用到的栈示自编码算法，即将一个信号用一组基（神经元）来线性表示，在栈式自编码神经网络中，通过逐层贪婪训练，将每层的输出信息作为下一层的输入，在即将收敛时，通过反向传播算法进行微调。

自编码神经网络在训练时需要满足两个约束：1.逼近这样的一个恒等函数：hW,b(x)=x。使得神经网络的输出等于输入，这样隐藏层可以看做对输入的压缩编码，使用压缩编码后的特征可以重构出原始特征。2.稀疏约束，以使得被激活的神经元尽可能少，总的目标函数如下：

利用训练集的数据，达到目标函数最优后，再利用测试集进行测试。

三、可以用来干嘛

接下来主要介绍除了笔者所在金融领域外，深度神经网络还有哪些应用领域：
1.自动驾驶：深度学习最接近商业化的，要数以特斯拉和谷歌为首的自动驾驶技术；
2.博弈游戏：比如AlphaGo的围棋；
3.图像识别：Faceu的人脸识别；
4.自动文本生成：最近对华尔街冲击较大的自动财报生成AI
5.语音识别：苹果siri、科大讯飞的语音识别输入

其他参考：http://blog.csdn.net/zhaoyu106/article/details/53261055

四、未来的挑战

关于未来的挑战主要存在下面五个方面：
挑战1：标注数据代价昂贵
挑战2：大模型不方便在移动设备上使用
挑战3：大计算需要昂贵的物质、时间成本
挑战4：如何像人一样从小样本进行有效学习？
挑战5：如何从认知性的任务扩展到决策性任务？
具体可前往原文查看：https://www.zhihu.com/question/47602063