1.阶跃函数

阶跃函数公式
阶跃函数图形

2.sigmoid函数

sigmoid函数公式
sigmoid函数导数

搞一个sigmoid函数，是因为阶跃函数不可导。

sigmoid函数的图形

3.tanh函数

tanh函数定义
tanh函数图形
tanh函数导数

4.Relu

relu函数定义
relu函数图形