感知机

感知机由两层神经元组成，如图5.3 所示，输入层接收外界输入信号后传递给输出层，输出层是M-P 神经元，亦称"阈值逻辑单元"

其中感知机是用在线性可分的数据集上。感知机的目的就是能得到一个对数据集T中的正负样本完全正确划分的超平面，其中 $w^Tx-\theta =0$ 就是超平面方程

什么叫线性可分？就是找到一个超平面把数据分开。

什么叫超平面？

超平面就是能把数据集分开的，比如说在一维可以用点区分，点就是超平面；二维可以用线条区分，线条就是超平面；三维可以用一个平面区分，平面就是超平面；

各个维度的超平面

感知机学习策略︰随机初始化w,b，将全体训练样本代入模型找出误分类样本，假设此时误分类样本集合为M $\sqsubseteq$ T，对任意一个误分类样本(x, y) ∈M来说，当 $w^T -\theta ≥0$ 时，模型输出值 $\hat{y}$ =1，样本真实标记为y =0;反之，当 $w^T -\theta <0$ 时，模型输出值为 $\hat{y}$ =0，样本真实标记为y = 1。综合两种情形可知，以下公式恒成立

$(\hat{y}-y )(w^Tx-\theta )≥0$

所以,给定数据集T，其损失函数可以定义为:

$L(w,\theta )=\sum_{x\epsilon M}(\hat{y}-y )(w^Tx-\theta )$

只要让损失函数最小化，就可以得到w和 $\theta$ ，从而得到超平面的方程 $w^Tx-\theta =0$

神经网络

要解决非线性可分问题，需考虑位多层功能神经元. 例如图5.5 中这个简单的两层感知机就能解决异或问题.

图5.5 能解决异或问题的两层感知机

什么叫非线性可分问题？就是不能用点或线或平面划分。如下，找不到一条蓝线把正负分开。这时候我们用多层感知机来做。

多层前馈网络:每层神经元与下一层神经元全互连，神经元之间不存在同层连接，也不存在跨层连接。(隐层阈值 $\gamma h$ ，输出层阈值 $\theta j$ )

多层前馈网络

隐含层和输出层神经元都是拥有激活函数的功能神经元.

其中，如果做（单输出）回归，那么我们最后的预测结果，用到的函数是 $y=w^Tx^*+b$ ，无激活函数。我们的误差用的是均方差误差。

如果做分类{0，1}，那么我们最后的预测结果，用到的激活函数如下。我们用到的误差是交叉熵。

某个训练样本( $x_{k} ,y_{k}$ )，其中 $y_{k} =(y_{1}^k,y_{2}^k,....y_{l}^k )$ ，假定其多层前馈网络的输出为 $\hat{y}_{k} =(\hat{y}_{1}^k,\hat{y}_{2}^k,....\hat{y}_{l}^k )$ ，则该单个样本的均方误差（损失)为

然后用下列的BP算法求出w,b。

误差逆传播算法

误差逆传播(error BackPropagation，简称BP)算法就是其中最杰出的代表.它是迄今最成功的神经网络学习算法.现实任务中使用神经网络时，大多是在使用BP 算法进行训练.值得指出的是， BP 算法不仅可用于多层前馈神经网络，还可用于其他类型的神经网络. 例如训练递归神经网络. 但通常说"BP 网络"时，一般是指用BP 算法训练的多层前馈神经网络.

误差逆传播算法(BP算法)︰基于随机梯度下降的参数更新算法。