ML 神经网络

神经网络(neural networks)是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。

神经元(neuron)

神经网络中最基本的成分是神经元模型

神经元接收到来自n个其他神经元传递过来的输入信号(xi)，这些输入信号通过带权重的连接(wi)进行传递,神经元接收到的总输入值将于神经元的阈值进行比较，然后通过激活函数(activation function)处理以产生神经元的输出。

h(x) is a linear function
h(x) = 0 defines a linear hyperplane
M = 1, h(x) = w0 + w1x1
M = 2, h(x) = w0 + w1x1 + w2x2

激活函数(activation function)

activation function

激活函数的选择：
1.不使用线性二分的函数
因为在比较复杂的问题下我们使用线性二分函数的话在最后优化的时候就会非常困难。
2.不使用线性函数
因为我们已经选择了线性函数作为我们最后的融合模型

activation function

把许多个这样的神经元按一定的层次结构连接起来，就得到了神经网络。

感知机(Perceptron）

感知机由两层神经元组成，输入层接收外界信息输入信号后传递给输出层。

Perceptron Learning rule

例子

用感知机来学习OR函数

但感知机不能用来学习XOR函数

感知机只有输出层神经元进行激活函数处理，即只拥有一层功能神经元。
如果数据是线性可分的，那么存在一个线性超平面能将它们分开，感知器的学习过程会收敛来求得适当的权向量w
如果要解决非线性可分问题，需考虑使用多层功能神经元。

收敛证明
http://www.cs.columbia.edu/~mcollins/courses/6998-2012/notes/perc.converge.pdf

代价函数(Cost Function)