激活函数 Sigmoid vs. ReLU

作者: 马尔克ov | 来源:发表于2016-08-26 07:39 被阅读347次

用sigmoid做激活函数有缺点，输出在0到1之间。
训练很多层网络时，相乘导致接近0，前面几层训练不到

激活函数 Sigmoid vs. ReLU

ReLU解决vanishing问题

但是某些节点等于0是不是问题呢，有些weight会训练不到？
节点等于0的前提是输出都等于0，这个实际上很少出现

网友评论

本文标题：激活函数 Sigmoid vs. ReLU

本文链接：https://www.haomeiwen.com/subject/jmnasttx.html

备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！