深度学习问题1-5

1.写出常用的激活函数及其导数

参考链接：https://blog.csdn.net/colourful_sky/article/details/79164720

1.Sigmoid

Sigmoid又叫作 Logistic 激活函数，它将实数值压缩进 0 到 1 的区间内，还可以在预测概率的输出层中使用。该函数将大的负数转换成 0，将大的正数转换成 1。
Sigmod数学公式为：

image.png

Sigmod的导数公式为：

image.png

2.Tanh

Tanh 激活函数又叫作双曲正切激活函数(hyperbolic tangent activation function)。与 Sigmoid 函数类似，Tanh 函数也使用真值，但 Tanh 函数将其压缩至-1 到 1 的区间内。与 Sigmoid 不同，Tanh 函数的输出以零为中心，因为区间在-1 到 1 之间。你可以将 Tanh 函数想象成两个 Sigmoid 函数放在一起。在实践中，Tanh 函数的使用优先性高于 Sigmoid 函数。负数输入被当作负值，零输入值的映射接近零，正数输入被当作正值。
Tanh的数学公式为：

image.png

Tanh的导数公式为：

image.png

3.Relu

Relu 中文名叫做修正线性单元，是现在使用最广泛的函数。
Relu的数学公式为：

image.png

Relu的导数公式为：

image.png

2.神经网络训练时是否可以将参数全部初始化为0？

不可以,如果将参数全初始化为0,那同一隐层每个节点的值都相同,反向传播权值更新也相同,这样每层隐层的神经元都相同,学习失败。

3. 多层感知机表示异或逻辑时最少需要几个隐层?

2

4.为什么Sigmoid和Tanh激活函数会导致梯度消失的现象?

因为权值是通过BP更新的,sigmoid的导数最大值是0.25,tanh的导数最大值是1。
也就是说这两个函数的梯度都是<=1的,根据链式法则,梯度会衰减,以至梯度消失。

5.写出多层感知机的均方误差和交叉熵损失函数？

交叉熵损失函数用于分类问题，公式为：

image.png
均方误差用于回归问题，常见表达形式为MSE，是mean squared error的简写。
公式为：
image.png