初识神经网络一

作者: 流星游 | 来源:发表于2019-04-24 23:36 被阅读0次

感知机是经由加权信号与偏置的和决定输出信号；神经网络在感知机的基础上加了一个激活函数，即加权信号与偏置的和再经过激活函数，才输出信号。

用公式表示：
$a = b + x_1w_1 + x_2w_2$

$y = h(a)$

激活函数以阈值为界，超过阈值切换输出。激活函数也被称为“阶跃函数”。

需要注意的是神经网络的激活函数必须是非线性函数。原因是线性函数没有办法发挥多层神经网络的优势。不管线程函数的层级是多少，总能找到一个简单的“神经元”来替代它。

在神经网络的早期常用的激活函数式sigmod函数，其公式如下：
$y = \dfrac{1}{1+exp(-x)}$
对应的图形如下：

sigmoid函数.png

这里需要注意的是，sigmoid函数是一条平滑的曲线，其返回值可以是连续实数。对应感知机中的0和1的输出，神经网络中流动的是连续的实数值信号。

不同于早期使用sigmoid作为激活函数，现在则主要使用ReLU函数作为激活函数。其公式为
$y=\begin{cases} x & (x > 0) \\ 0 & (x \leq 0) \end{cases}$
其图形如下：

ReLU函数.png

在实现神经网络时，需要输入信号、权重以及输出信号的shape。

神经网络内积.jpg

网友评论

本文标题：初识神经网络一

本文链接：https://www.haomeiwen.com/subject/zncogqtx.html

初识神经网络一