深度学习(花书)

第二部分 深度网络：现代实践

段首语：该部分描述了参数化函数近似技术。首先描述了用于表示这些函数的前馈神经网络，接着描述了正则化与优化技术，还介绍了用于大图像的卷积神经网络与用于处理时间序列的循环神经网络，最后提出了一些可用于设计、构建与配置的一般准则

第六章 深度前馈网络

深度前馈网络也叫前馈神经网络，也叫多层感知机
前馈网络的目标是近似某函数f*
例如：对于分类器，输入x可以得到类别y，则构建,其中θ为需要学习的参数

前馈网络由线性模型开始，为了克服线性的局限性，我们引入新的映射 Φ(x)使其为非线性函数，而其选择方式有多种：

• 使用通用Φ，如无限维Φ，可知只要维数足够高，一定可以很好的拟合数据，但往往泛化能力较弱
• 手动设计Φ
• 学习Φ，令函数，通过优化我们可以学习到θ与ω

本章将由一个简单的前馈神经网络开始讨论，部署这样一个网络需要若干决策：

• 训练一个前馈网络至少需要和线性模型一样做同样多的决策
• 选择优化模型、代价函数、输出单元的形式
• 选择用于计算隐藏层值的激活函数
• 设计网络结构，含层数，层间链接，层内单元数
• 如何计算复杂函数的梯度，如使用反向传播

学习XOR（见书中公式推导，如何有限样本点在非线性约束下进行解析解的求解）

基于梯度的学习：

• 代价函数的选择 训练数据与模型预测的交叉熵
• 输出单元 输出形式决定了交叉熵函数形式（高斯输出，sigmoid，softmax）
• 隐藏单元 整流线型单元往往是默认隐藏单元（ ）logistic sigmoid（ls） 被双曲正切函数所替代 ls不宜用作隐藏单元（仅在输入在0附近时才对数字敏感）
• 架构设计
• 反向传播
• 计算图