激活函数用于神经网络的线性加权操作或池化操作之后，通过加入非线性因素来提高神经网络的表达能力。本专题用于整理和总结常用的激活函数，包括：Sigmoid，Tanh，Softplus，ReLU，ReLU6，Leaky ReLU，ELU，Maxout，Softmax等。
激活函数通常有以下几个性质：
1.非线性：保证数据非线性可分；
2.可微性：保证可以计算梯度进行反向传播；
3.单调性：保证凸函数；
4.输出值与输入值相差不会很大：保证神经网络训练和调参高效。
常见的几种激活函数：
(1) Sigmoid
函数表达式：
函数图像：
Sigmoid
(2) Tanh
函数表达式：
函数图像：
Tanh
(3) Softplus
函数表达式：
函数图像：
Softplus
(4) ReLU
函数表达式：
函数图像：
ReLU
(5) ReLU6
函数表达式：
即:
函数图像：
ReLU6
(6) Leaky ReLU
函数表达式：
函数图像：
Leaky ReLU
(7) ELU
函数表达式：
函数图像：
ELU
(8) Maxout
函数表达式：
网友评论