神经网络

学习非线性规律 深度神经网络

• 在传统线性模型中，每一个模型有一些输入x 特征 每个输入都有权重w值，这些权重以线性方式组合到一起 产生输出
  如果我们想要获得非线性规律，我们可能需要向该模型再添加一个层
  这样，你可以通过良好的线性组合，将这些输入添加到第二层。
  第二层再以线性方式相结合，但我们尚未实现任何非线性规律。
• 线性函数的组合，依然还是线性
  因此 我们需要从其他方向着手，也就是说，我们需要添加非线性函数
• 这种常用的非线性函数可以位于任何小的隐藏式节点的输出中，其中一种常用的非线性激活函数，叫做ReLU
• 当我们在训练这些神经网络时，很显然，我们面临的是非凸优化问题，因此可能需要初始化（？？
• 我们训练这些神经网络时所使用的方法叫做反向传播，他是梯度下降算法的变形，通过反响传播，我们能够以高效合理的方式，对非凸优化问题执行梯度下降

神经网络处理非线性问题

image.png

• 蓝色代表一个输入特征，绿色圆圈表示各个输入的加权和（y）
  目前还只是一个线性模型，要处理非线性问题，可以增加表示中间值的隐藏层。输入的是，蓝色输入节点值的加权和，输出的是黄色节点的加权和。

  
  image.png

但是到目前为止，模型还是线性的，只不过多加了几层表示加权和的隐藏层，隐藏层作为下一层的输入。

• 要对非线性问题进行建模，我们可以直接引入非线性函数，用非线性函数将每个隐藏节点像管道一样连接起来

  
  image.png

• 实际上，所有数学函数都可以作为激活函数，假设𝜎表示我们的激活函数，因此，网络中节点的值由以下公式指定
  𝜎(w·x + b）

现在，我们的模型拥有了人们通常所说的“神经网络”的所有标准组件：

• 一组节点，类似于神经元，位于层中。
• 一组权重，表示每个神经网络层与其下方的层之间的关系。下方的层可能是另一个神经网络层，也可能是其他类型的层。
• 一组偏差，每个节点一个偏差。
• 一个激活函数，对层中每个节点的输出进行转换。不同的层可能拥有不同的激活函数。

同一层的转化函数相同？