2019-05-06

Day-8误差反向传播法（学习笔记）

1.激活函数的实现

ReLU层

Relu函数

y=max(0,x) 
dy/dx=(1 if i >0 else 0 for i in x)

正向传播时的输入值小于等于0，则反向传播的值为0；反向传播过程中会使用正向传播时保存的mask,将上游传来的dout[mask]=0
ReLU层的作用就像电路中的开关一样。

class Relu:
    def __init__(self):
        self.mask=None
    def forward(self,x):
        self.mask=(x<=0)#前项传播的过程中x<=0,则x为0.返回的为布尔值
        out=x.copy()#对x进行复制
        out[self.mask]=0
        return out
    def backward(self,dout):
        dout[self.mask]=0
        dx=dout
        return dx

Sigmoid层

sigmoid函数

y=1/(1+exp(-x)),
dy/dx=exp(-x)/(1+exp(-x))^2

class Sigmoid:
    def __init__(self):
        self.out=None
    def forward(self,x):
        out=1/(1+np.exp(-x))
        self.out=out
        return out
    def backward(self,dout):
        dx=dout*(1.0-self.out)*self.out#dout*y的导数
        return dx

2.Affine/Softmax层的实现

• Affine层
  神经网络的正向传播中进行的矩阵内积运算在几何学领域被称为仿射变换，因此，将仿射变换的过程称为“Affine”层。

np.dot(X,W)+B==W'X+B

根据矩阵的导数，

公式(5-13)推导：(*** 书上的感觉有问题（没看懂），我推导的和后面程序一致！***)

公式推导

程序：

class Affine:
    def __init__(self,W,b):
        self.W=W
        self.b=b
        self.x=None
        self.dW=None
        self.db=None
    def forwoard(self,x):
        self.x=x
        out=np.dot(x,self.W)+self.b
        return out
    def backward(self,dout):
        dx=np.dot(dout,self.W.T)#dx=W*dout
        self.dW=np.dot(self.x.T,dout)dW=dout.T*x.T
        self.db=np.sum(dout,axis=0)
        return x

• softmax函数
  神经网络的学习阶段需要Softmax层。
  Softmax-with-Loss层(Softmax函数和损失函数的交叉熵误差)
  反向传播(y1-t1,y2-t2,y3-t3)是对交叉熵函数各分量求偏导得到。

3.误差反向传播的实现

神经网络学习的步骤：
step1:(mini-batch)从训练数据集中随机选择一部分数据;
step2:(计算梯度)计算损失函数关于各个权重参数的梯度；
step3:(更新参数)将权重参数沿梯度方向进行微小的更新；
Step4:(重复Step1-3)

两种求梯度的方法：

• 基于数值微分的方法；
• 解析性地求解数学式的方法(基于链式法则和计算图)

梯度确认：确认数值微分求出的梯度结果和误差反向传播法求出结果的一致性的操作。

误差的反向传播法出现在step2.程序还在学习中。。。。