logistic函数（右是导数）
Tanh函数（右是导数）
传统Sigmoid系激活函数
传统Sigmoid系激活函数
传统Sigmoid系激活函数，Sigmoid系（Logistic-Sigmoid、Tanh-Sigmoid）被视为神经网络的核心所在。（注意：两个都是sigmoid系列的函数）
对于深度学习模型，tanh函数通常比sigmoid函数表现的要更好：
1）使用tanh函数时，模型参数的初始化值更趋向于0
2）更快达到收敛
3）求导方便：f’(z)=1-tanh2(z)
网友评论