0.引言

激活函数的作用没啥说的，就是在神经元的线性计算之后进行的一个非线性映射。通过下面这个图就可以了解到。本文仅对几个激活函数进行梳理对比，只作为速查和备忘，而不讲解具体原理。

1. sigmoid
2. tanh
3. ReLU
4. Leaky ReLU

请先到原文https://zhuanlan.zhihu.com/p/25110450看看，我只是简单摘录了一些内容过来，

(图来自https://zhuanlan.zhihu.com/p/25110450，知乎，夏飞，Google软件工程师)
这里先对Sigmoid，Tanh，ReLU，Leaky ReLU.

1. Sigmoid函数

sigmoid.png
tanh.png
relu.png
leakyrelu.png

优点：
1.解决了神经元不可逆死亡的问题
缺点：
1.理论可解释性不强，在实践中不见得效果好于经典ReLU

本文参考：

https://zhuanlan.zhihu.com/p/25110450
https://blog.csdn.net/piaodexin/article/details/77162766