神经网络

单层神经元模型

image.png

激活函数

image.png

BP神经网络（误差逆向传播）

示意图

image.png
理论推导（误差反向传播）
image.png
image.png
image.png
image.png
算法描述
image.png
注意：BP算法目标是使累计误差达到最小调整连接权值和阈值
特点
经过多次迭代，不断调整连接权值和阈值，BP算法基本能逼近任意连续函数
问题
1.调整的参数过多，模型过于复杂，导致过度拟合
2.通常隐含层的神经元个数难以确定，需使用“试错法”确定。
3.需要采取一定策略避免陷入局部最小
解决
针对问题一：
image.png
针对问题三：
image.png

其他常见神经网络

1.RBF

image.png
2.ART（竞争型网络）
image.png
image.png
3.SOM网络
image.png
image.png
4.级联相关网络
image.png
5.Elman网络（递归网络）
image.png
6.玻尔兹曼机
image.png
image.png

深度学习

image.png
image.png
image.png
image.png
image.png