学习笔记-机器学习-（5）神经网络

吴恩达-机器学习课程--08: Neural Networks的学习总结：

复杂的非线性分类问题上，特征维数n非常大，逻辑回归算法将不适用。

使用简单的逻辑单元模型模拟神经元工作：

输出，在神经网络中θ被称为权重weights

有时也画出x0，（x0=1）被称为偏置单元(bias unit)

神经元模型

神经网络就是不同的神经元组合在一起的集合：

神经网络模型

Layer1：输入层   Layer2：隐藏层（可能多个）   Layer3：输出层  

隐层和输出层节点的输入和输出之间具有函数关系，这个函数称为激励函数（activation function），此处是s型函数（sigmoid function）作为激励函数。 

表示第2层的第1个神经元/激励。     激励：由一个具体的神经元读入计算并输出的值

计算假设函数输出

Ɵ(j) 是一个控制 j 到 j+1 层函数映射的参数/权重矩阵，Ɵ(j) 是一是一个[X+1]的矩阵

是j层的神经元个数，是j+1层的神经元个数

x0，a0是偏置单元(bias unit)，等于1，（图中未画出x0，a0）

矩阵Ɵ(1）、Ɵ(2）如下图所示：

矩阵Ɵ(1）    矩阵Ɵ(2）  

高效计算：

我们做如下定义：

，那么

，,   =[ ，，]转置

，，这种从输入层的激励开始，然后传播给隐藏层计算，最终得出输出层激励的方式为，正向传播（forward propagation） 

举例学习神经网络：

例1：用神经网络拟合“与运算”“或运算”

x1、x2取0或1，y为x1 AND x2  或 x1 OR x2  

假设-30,+20,+20是已经训练好的模型中的参数

神经网络例1

依次带入x1，x2的值预测函数给出的预测值正好和“与运算”的结果一致。“或运算”同理。

神经网络例1

例2：用神经网络拟合XNOR“同或门”，XNOR:（x1 AND x2）OR  [（NOT x1 ) AND (NOT x2）]

神经网络拟合XNOR

即为 x1 AND x2的激励结果。还加上了偏置单元。

用神经网络做多类别分类：

假设有四个分类，那么输出层将有四个神经元

多类别分类

期望输出为下：

输出