Tanh

作者: e6fa7dc2796d | 来源:发表于2018-08-03 20:29 被阅读25次
Tanh 激活函数 Tanh 导数

Tanh 激活函数又叫作双曲正切激活函数(hyperbolic tangent activation function)。与 Sigmoid 函数类似,Tanh 函数也使用真值,但 Tanh 函数将其压缩至-1 到 1 的区间内。与 Sigmoid 不同,Tanh 函数的输出以零为中心,因为区间在-1 到 1 之间。你可以将 Tanh 函数想象成两个 Sigmoid 函数放在一起。在实践中,Tanh 函数的使用优先性高于 Sigmoid 函数。负数输入被当作负值,零输入值的映射接近零,正数输入被当作正值。唯一的缺点是:

Tanh 函数也会有梯度消失的问题,因此在饱和时也会「杀死」梯度。


链接:https://www.jianshu.com/p/53bbb4ed78f3

來源:简书

简书著作权归作者所有,任何形式的转载都请联系作者获得授权并注明出处。

相关文章

  • python画出激活函数 sigmoid,tanh,Relu

    sigmoid函数 tanh函数![tanh函数](http://upload-images.jianshu.io...

  • Tanh

    Tanh 激活函数又叫作双曲正切激活函数(hyperbolic tangent activation functi...

  • 激活函数

    Sigmod \sigma(x)=\frac{1}{1+e^{-x}} Tanh tanh(x) = 2 \sig...

  • 【TANH】函数使用技巧

    Excel的TANH函数主要是用来计算双曲正切值。本文介绍 Microsoft Excel中TANH函数的公式语法...

  • 2018-10-30

    开放实验作业 1.sigmoid函数与tanh函数的梯度消失: 写出函数表达式:sigmoid函数: tanh函数...

  • 常见的激活函数

    1.Sigmoid函数(S型函数)2.tanh函数(双曲正切函数)-tanh(x)3.ReLU(修正线性单元函数)...

  • 3. pytorch-激活函数

    常见激活函数 relu sigmod tanh softplus 示例代码

  • 深度学习--激活函数

    激活函数: Sigmoid Leaky ReLU ReLU tanh(x) ELU

  • Sigmoid、ReLU、tanh

    Sigmoid将输出映射到(0,1)区间,并将线性数据映射到非线性空间 ReLU将输出映射到(0,♾)范围内,本质...

  • 几种激活函数

    1.relu: 2.tanh: 3.elu(leakrelu)

网友评论

      本文标题:Tanh

      本文链接:https://www.haomeiwen.com/subject/vjiuvftx.html