神经网络基础

神经元

1. 感知机
   感知机是一种线性二分类模型，所有的分类器包括神经网络本质上都是要模拟一个函数f：x-->y。x为分类器输入，待分类特征；y为输出，x的类别。而函数的建立，依赖于参数。对于有监督的学习而言，通过对训练数据的学习得出参数。
2. 神经元
   单个神经元结构上就是一个感知机，只是在原来的线性分类基础上加入了激活函数，使之能够进行非线性分类。
   在下图的感知机模型中，输入为向量x=(x1,x2,x3)，输出为
   ，其中f( )就是激活函数，一般激活函数采用sigmoid或者tanh形式，值域分别为[0,1]或者[-1,1]
   sigmoid函数
   tanh函数
   )

神经网络模型

神经网络由输入层、一到多个隐藏层、输出层组成，每层都由许多神经元构成。

简单的神经网络