激活函数

作者: stigin | 来源:发表于2019-06-02 22:19 被阅读0次

激活函数softmax-P2分类任务
6.神经网络训练细节part1
tanh函数&logistic函数
机器学习之神经网络
[Machine Learning From Scratch]-
2019-10-09
理解激活函数
03 多层感知机
非线性激活函数的作用
Machine Learning基础：激活函数（Activiat

1、非线性激活函数

sigmoid、tanh

问题：1、计算量大；2、容易有梯度消失问题

梯度消失问题：在反向传播中，当梯度小于1时（如sigmoid和tanh），往回传的层数愈多，梯度越小，将导致模型难以训练。

假设一个三层网络 f,g,h： $y=f(g(h(x))), \frac{\Delta y}{\Delta x}= \frac{\Delta f}{\Delta g}\frac{\Delta g}{\Delta h} \frac{\Delta h}{\Delta x}$ , 可以看到如果梯度都是小于1，每一层的回传梯度都会发生衰减。

2、修正线性单元，rectifier linear unit，ReLu

$f(x)=max(0,x)$

优点：1、计算量小，同时能实现非线性映射；2、不存在梯度消失问题；3、忽略小于0的输入，使得网络具有稀疏性，即对于一个输入，网络中只有部分结构会被激活；

缺点：神经元死亡问题，即当一个很大的梯度经过某个神经元，经过更新后，这个神经元可能对所有的输入输出都是负值，那么这个神经元就死亡了。这个问题当学习率设的过大时，更容易发生。

3、learky ReLu

$f(x)=max(\alpha x,x),\alpha$ 为大于0的一个小数，一般为0.01。

解决了relu的神经元死亡问题

网友评论

本文标题：激活函数

本文链接：https://www.haomeiwen.com/subject/skefxctx.html

延伸阅读

深度阅读

您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

激活函数

1、非线性激活函数

2、修正线性单元，rectifier linear unit，ReLu

3、learky ReLu

相关文章

激活函数softmax-P2分类任务

6.神经网络训练细节part1

tanh函数&logistic函数

机器学习之神经网络

[Machine Learning From Scratch]-

2019-10-09

理解激活函数

03 多层感知机

非线性激活函数的作用

Machine Learning基础：激活函数（Activiat

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读