1. 双曲正切

hyperbolic tangent function

$tanh(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}}$

tanh函数是由指数函数组成的比值，并且其取值范围为[-1, 1]

是sigmoid函数的变形，是一种非线性函数，在神经网络中被广泛应用。

$tanh(x) = 2sigmoid(2x) - 1$

2. 求导

tanh'(x) = 2 * (sigmoid(2x))' = 2 * sigmoid(2x) * (1 - sigmoid(2x))

而sigmoid(x)' = sigmoid(x) * (1 - sigmoid(x))

tanh'(x) = 1 - tanh^2(x)

用python代码表示就是：

import math

def tanh(x):

return (math.exp(x) - math.exp(-x)) / (math.exp(x) + math.exp(-x))

def tanh_derivative(x):

return 1 - math.pow(tanh(x), 2)

python画出激活函数 sigmoid，tanh，Relu
sigmoid函数 tanh函数![tanh函数](http://upload-images.jianshu.io...
Tanh
Tanh 激活函数又叫作双曲正切激活函数（hyperbolic tangent activation functi...
激活函数
Sigmod \sigma(x)=\frac{1}{1+e^{-x}} Tanh tanh(x) = 2 \sig...
【TANH】函数使用技巧
Excel的TANH函数主要是用来计算双曲正切值。本文介绍 Microsoft Excel中TANH函数的公式语法...
2018-10-30
开放实验作业 1.sigmoid函数与tanh函数的梯度消失：写出函数表达式：sigmoid函数： tanh函数...
常见的激活函数
1.Sigmoid函数（S型函数）2.tanh函数（双曲正切函数）-tanh(x)3.ReLU（修正线性单元函数）...
2023-09-16
上午一直待在家里没有出门，下午准备出门前，在线上点了一杯霸王茶姬奶茶，准备一会出门后就直接去拿。点的时候显示前面已...
2023-09-16
每一天都值得使劲的活着！这些天总是会回忆起很小的时候自己心中的那些迷茫，没有来由的，就是觉得生活没有意思。记得...
3. pytorch-激活函数
常见激活函数 relu sigmod tanh softplus 示例代码
深度学习--激活函数
激活函数: Sigmoid Leaky ReLU ReLU tanh(x) ELU