前馈神经网络
前馈神经网络,又称FNN(Feedforward Neural Network),是一种最简单的神经网络结构,FNN结构是由最基本的神经元(neuron)堆叠而成;在每个神经元会做两步操作:1.与对应权重相乘累加,称为神经元状态。2.累加后的结果传入激活函数。激活函数的值即为一个神经元的输出。
单个神经元结构一个简单的FNN是由输入层、输出层以及隐藏层(一个或多个)组成,下图就是一个简单的FNN,它拥有一层隐藏层(4个神经元组成),输入层(通常不做任何处理),输出层(2个神经元组成,代表最后输出是一个二维向量)。通常网络中还会有偏置层,即为下图中“+1”的部分。 简单的FNN网络
而本文仲描述FNN的记号:
- :第层的神经元个数;
- :神经元的激活函数;
- :第层隐含层的权重所组成的矩阵
- :第层的偏置
- :第层神经元的状态
- :第层神经元的激活值(即神经元输出值)
总的来说,FNN的模型可以描述成:每经过一个隐含层就再给其增加一个中间函数,而每个隐含层所代表的具体的中间函数形式,是比较难解释。
前馈神经网络的损失函数
与其他机器模型一样,FNN也需要模型训练时需要的目标cost function,也叫做loss function。常用的loss function有:
- (squared loss,用于实数预测回归);
- (用于二项分类,逻辑回归);
- (cross entropy loss, 用于softmax回归);
与linear regression和logistic regression有些不同,模型的cost function可以通过极大似然估计这个角度切入,而前馈神经网络的cost function,笔者暂时还未深入了解,为何是如此设置。
而当有了cost function,则模型训练的目标变成最小化损失函数,变成了一个无约束优化问题。
BP算法(反向传播算法)
FNN参数的训练,可以使用反向传播算法,其基本思想是:1. 计算每一层的状态值和激活值,直至最后一层(前向传播);2. 从最后一层开始,计算每一层的误差,不断地向前推进(反向传播);3. 利用误差迭代参数,直至满足相应条件(达到迭代次数或误差得到满足)
以下图的3层前馈神经网络为例:
假设该神经网络的cost function为:
前向传播
第二层神经元的状态值和激活值为:
而第三层神经元的状态值和激活值则为:
如果若以矩阵形式来描述,则前向传播可以写成如下:
反向传播
对输出层参数进行更新
先对cost function进行扩展
因此,若对输出层的神经元求偏导,则有:
若写成矩阵形式,则为:
对隐含层参数进行更新
继续对cost function进行进一步扩展
对隐含层的神经元求偏导有:
设,则上式可写成:
这里是指,与第层的第个神经元连接的第层的神经元所组成的集合。由于上述的FNN各层之间是一种全连接方式,因此上述写成矩阵形式为: 而写成矩阵形式则为:
BP算法总结
针对上述前馈神经网络,BP算法最后可以总结为四条公式:
选用不同的cost funtion,最后公式的形式可能会有所不同,但整个BP算法的流程是一样的。使用BP算法训练的神经网络,也被称为BP神经网络。深度学习中很多网络都可以使用BP算法来进行参数训练。
简单例子
这里使用的是吴恩达在Coursera中machine learning的一个实验例子;在实验中,是通过搭建一个简单的神经网络,做到手写体数字识别的效果。
利用python实现上述网络的代码:
激活函数:
def sigmoid(x):
return 1 / (1 + np.exp(-1 * x))
神经网络结构规格:
n0 = 400
n1 = 25
n2 = 10
BP算法:
def MinstNeuralNetwork(X, y, alpha=0.1, numIter=100):
Xmat = np.mat(X)
Ymat = np.mat(y)
m, n = Xmat.shape
#parameter initialize
param_w1 = np.mat( np.random.random([n1, n0]) / 10 )
param_w2 = np.mat( np.random.random([n2, n1]) / 10 )
param_b1 = np.mat( np.random.random([n1, 1]) / 10 )
param_b2 = np.mat( np.random.random([n2, 1]) / 10 )
for i in range(numIter):
for j in range(m):
#forward
z1 = param_w1 * Xmat[j, :].T + param_b1
a1 = sigmoid(z1)
z2 = param_w2 * a1 + param_b2
a2 = sigmoid(z2)
#backward
nextItParam_w1 = param_w1
nextItParam_w2 = param_w2
nextItParam_b1 = param_b1
nextItParam_b2 = param_b2
delta2 = np.mat( -(Ymat[j, :].T - a2).A * sigmoid(z2).A * (1 - sigmoid(z2)).A )
dw2 = delta2 * a1.T
nextItParam_w2 = param_w2 - alpha * dw2
delta1 = np.mat( (param_w2.T * delta2).A * sigmoid(z1).A * (1 - sigmoid(z1).A) )
dw1 = delta1 * Xmat[j, :]
nextItParam_w1 = param_w1 - alpha * dw1
nextItParam_b1 = param_b1 - alpha * delta1
nextItParam_b2 = param_b2 - alpha * delta2
#update new parameter
param_w1 = nextItParam_w1
param_w2 = nextItParam_w2
param_b1 = nextItParam_b1
param_b2 = nextItParam_b2
return param_w1, param_w2, param_b1, param_b2
最后网络在数据集上训练了300次,在训练集上的准确率达到了96%,与在Coursera里的实验相比,上述该例子的实现中并没有进行正则化,并且在训练次数较多;上述仅用最简的方法实现BP算法,较为粗糙。
总结
前馈神经网络是最为简单的神经网络结构,是神经网络中的基础知识。当隐含层层数增加时,神经网络则可称之为深度网络。上述也对训练神经网络的BP算法做了简单介绍,也进行了较为粗略地实现。
网友评论