MLP多层感知机:https://blog.csdn.net/fg13821267836/article/details/93405572
除了输入输出层,MLP中间可以有多个隐层,最简单的MLP只含一个隐层,即三层的结构。隐含层是神经网络的一个重要概念,它是指除输入,输出层外,中间的那些层。

多层感知机层与层之间是全连接的。 假设输入层用向量X表示,则隐藏层的输出就是 f (W1X+b1),W1是权重(也叫连接系数),b1是偏置,函数f 可以是常用的sigmoid函数或者tanh函数。
为什么使用激活函数? a. 不使用激活函数,每一层输出都是上层输入的线性函数,无论神经网络有多少层,输出都是输入的线性组合。b. 使用激活函数,能够给神经元引入非线性因素,使得神经网络可以任意逼近任何非线性函数,这样神经网络就可以利用到更多的非线性模型中。
输出层与隐藏层是什么关系? 其实隐藏层到输出层可以看成是一个多类别的逻辑回归,也即softmax回归,所以输出层的输出就是softmax(W2X1+b2),X1表示隐藏层的输出f(W1X+b1)。
网友评论