Tensorflow——tensorflow的激活函数

目录

1. sigmoid 函数
2. tanh函数
3. relu 函数
4. softplus 函数
5. leakrelu 函数
6. ELU 函数
7. SELU函数

1.sigmoid 函数

这是传统的神经网络中常用的激活函数之一。
公式：

图像：

• 优点：它输出映射在内，单调连续，非常适合用作输出层，并且求导比较容易；
• 缺点：具有软饱和性，一旦输入落入饱和区，一阶导数就变得接近于，很容易产生梯度消失。
• 饱和性：当时，其中为某常数，此时一阶导数等于，通俗的说一阶导数就是上图中的斜率，函数越来越水平。

2. tanh函数

tanh也是传统神经网络中比较常用的激活函数。
公式：

图像：

3. relu 函数

relu函数是目前用的最多也是最受欢迎的激活函数。
公式：

图像：

由上图的函数图像可以知道，

5. leakrelu 函数

leakrelu函数是relu激活函数的改进版本，解决部分输入会落到硬饱和区，导致对应的权重无法更新的问题。

公式：

图像：

左边缩小方差，右边保持方差；方差整体还是缩小的，而均值得不到保障。

6. ELU 函数

公式：

图像：

7. SELU函数

最近的自归一化网络中提出，函数和图像如下

公式：

图像：
蓝色是：selu，橙色是：elu

左边缩小方差，右边放大方差，适当选取参数alpha和lambda，使得整体上保持方差与期望。如果选取：
lambda=1.0506，alpha=1.67326，那么可以验证如果输入的x是服从标准正态分布，那么SELU(x)的期望为0，方差为1.