神经网络基本概念

1. 什么是神经网络

神经网络是由简单处理单元组成的大规模并行处理器

2.神经元的模型：

神经元.png

2.1 权值

神经元与神经元之间的权重或者强度特征

2.2 操作

神经元输入值的乘、加操作

2.3 激活函数

用来限制神经元输出的振幅，将神经元输出值压制到允许范围内的一定值。激活函数主要有：阈值函数，sigmiod函数，tanh函数

2.3.1 阈值函数

阈值函数.png

2.3.2 sigmoid函数

sigmoid函数.png

2.4 偏置biase

偏置b的作用是根据它的正值或者负值来相应的增加或降低激活函数的网络输入。

3.网络结构

3.1 单层前馈网络

输入节点的个数与输出节点的个数相同，如

单层前馈网络.png

3.2 多层前馈网络

有一层或者多层隐藏层，相应的节点称之为隐藏神经元或者隐藏单元，如

多层前馈网络.png

3.3 递归网络

递归网络和前馈网络的区别是它至少有一个反馈环。

递归神经网络.png