MLP多层感知机

MLP多层感知机：https://blog.csdn.net/fg13821267836/article/details/93405572

除了输入输出层，MLP中间可以有多个隐层，最简单的MLP只含一个隐层，即三层的结构。隐含层是神经网络的一个重要概念，它是指除输入，输出层外，中间的那些层。

多层感知机层与层之间是全连接的。 假设输入层用向量X表示，则隐藏层的输出就是 f (W1X+b1)，W1是权重（也叫连接系数），b1是偏置，函数f 可以是常用的sigmoid函数或者tanh函数。

为什么使用激活函数？ a. 不使用激活函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合。b. 使用激活函数，能够给神经元引入非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以利用到更多的非线性模型中。

输出层与隐藏层是什么关系？      其实隐藏层到输出层可以看成是一个多类别的逻辑回归，也即softmax回归，所以输出层的输出就是softmax(W2X1+b2)，X1表示隐藏层的输出f(W1X+b1)。