神经网络（二）

1.几个标记方法：

m组训练数据
神经网络总的层数L；

第l层的单元数Sl（不包括偏差单元）；
输出层的单元数K。
①对于两类分类问题
y=0或1，只有一个输出单元，hΘ(x)∈R，故SL=1，即K=1。
②对于多类分类问题
y是一个向量，y∈RK，hΘ(x)∈RK，SL=K(K⩾3)。
2.逻辑回归的代价函数

3.神经网络的代价函数（多类分类问题）

该式子的含义（个人现阶段理解），共有k个分类，所以对于每一行数据，h(x(i))是一个k维的向量（有个输出结果），Σk 即将每一个结果的代价求和，再将m行数据的代价求和，得出总的代价。正则化的式子：每一层有l个单元，对应每层的theta是一个S(l+1)*S(L)的矩阵
4.反向传播算法

先通过一个例子来看：

即前向传播是通过ai求得zi+1,反向传播是通过δi+1求得δi，系数都是Θij，其中j是前一层对应的单元，i是后一层对应的单元
代价函数：
image.png
误差计算方法：


而代价函数的偏导数为

算法：