激活函数

Sigmod

\sigma(x)=\frac{1}{1+e^{-x}}

Sigmod

Tanh

tanh(x) = 2 \sigma(2x) - 1

Tanh

ReLU

ReLU(x) = max(0, x)

ReLU

Leaky ReLU

f(x)=I(x<0)(\alpha x)+I(i>=0)(x)
\alpha很小的负的斜率

Maxout

Maxout(x)=max(w_1x+b_1,w_2x+b_2)

Conclusion

1. ReLU激活函数，使用较多，学习率的设定不要太大。
2. Sigmod激活函数，不要使用。
3. Tanh激活函数，可以试试。
4. 一般在同一个网络中，使用同一种类型的激活函数，很少使用混合类型的激活函数。