美文网首页
激活函数 Sigmoid vs. ReLU

激活函数 Sigmoid vs. ReLU

作者: 马尔克ov | 来源:发表于2016-08-26 07:39 被阅读347次
激活函数 Sigmoid vs. ReLU

用sigmoid做激活函数有缺点,输出在0到1之间。
训练很多层网络时,相乘导致接近0,前面几层训练不到


激活函数 Sigmoid vs. ReLU

ReLU解决vanishing问题

但是某些节点等于0是不是问题呢,有些weight会训练不到?
节点等于0的前提是输出都等于0,这个实际上很少出现

相关文章

网友评论

      本文标题:激活函数 Sigmoid vs. ReLU

      本文链接:https://www.haomeiwen.com/subject/jmnasttx.html