10-Neural Networks

这一节主要讲梯度更新与BP算法。

• 我们将把所有的样本的误差求平均然后进行更新的算法称之为batch gradient descent。一次只更新一个样本的算法称之为stochastic gradient descent。

  
  BGD
  SGD

• 它有三个好处， 一个是计算开销小， 因为我们不用每次都计算所有样本然后进行更新计算； 二是增加了随机性， 因为我们不清楚如果全部一次更新的话是否选择的点就是最优的点；三是它非常简单， 应用起来也不麻烦。

  
  benefit

• 在movie rating的例子中， 就是计算user更movie之间的内积， 然后计算误差， 一个一个更新。

  
  rating

• 接下来就是讲神经网络了。 perceptron 能力有些， 神经网络就是combine perceptrons， 如OR， AND, XOR门。当然也要注意generalization的能力。

  
  perceptron1
  perceptron2
  generalization

• 前向传播。有多个层， 每个层都是经过一个线性变换-非线性变换。 在这里的非线性变换是用tanh函数。

  
  operate

• 那么， 神经网络应该如何训练呢。主要的的key就是W决定了h(x)所以，就是Error在W中每个元素中传播。

  
  SGD

• 在计算的过程中， 其中关键的法则就是链式求导， 将e对w的求导转化为e对signal s求导， s对w求导。 显然s对w求导就是x而已， 重要的是e对s求导， 在这里我们将其记为delta。

  
  chain

• 首先看它对最后一层的情况。 计算处error， 然后求导。

  
  final

• 更一般化的， 从后一层反向传播到前一层。与前向传播类似， 都有w乘以另外一个项。

  
  delta

• 最终的算法如下。

  
  image.png