作者：HaigLee
https://www.jianshu.com/u/67ec21fb270d
本文由 HaigLee 发布。未经许可，禁止转载
神经网络中，运算特征是不断进行循环计算，所以在每代循环过程中，每个神经元的值也在不断变化。这就导致了Tanh函数在特征相差明显的时候效果会很好，在循环过程中，其会不断扩大特征效果并显示出来。
但是有时当计算的特征间的相差虽比较复杂但是却没有明显区别，或者是特征的相差不是特别大时，就需要更细微的分类判断，这时sigmoid函数的效果就会更好一些。
后来出现的ReLU 激活函数的优势是，经过其处理后数据有更好的稀疏性。即，将数据转化为只有最大值，其他都为0。这种变换可以近似程度地最大保留数据特征，用大多数元素为0的稀疏矩阵来实现。
实际上，神经网络在不断反复计算中，就变成了ReLU 函数在不断尝试如何用一个大多数为0的矩阵来表达数据特征。以稀疏性数据来表达原有数据特征的方法，使得神经网络在迭代运算中能够取得又快又好的效果，所以目前大多数max(0,x)来替代sigmoid函数。
作者：HaigLee
https://www.jianshu.com/u/67ec21fb270d
本文由 HaigLee 发布。未经许可，禁止转载
网友评论