python画出激活函数 sigmoid，tanh，Relu

sigmoid函数

f(x)= 1 / （1+ e^(-x)） sigmoid函数

tanh函数

两者都能为神经网络提供非线性组合以逼近任意函数，但是在都会出现梯度消失或者梯度爆炸的情况，而且计算比较复杂。

区别在于tanh函数的取值范围是（-1,1）而sigmoid的取值范围是（0,1），相比sigmoid，tanh能提供负激励的效果。

RELU函数 Relu函数

Relu的有点在于计算简单，梯度稳定，也可以表现出抑制的效果