——激活函数是为了增加整个网络的非线性能力（如果只能表达线性映射，即使有再多的隐藏层，整个网络和单层神经网络也是等价的），即表达能力和抽象能力，接在Batch-normalisation之后，即输入(-1,1)。激活函数应保证可微性、单调性。激活函数输出值有限时，基于梯度的优化方法更加稳定，输出无限的时候，模型的训练更加高效。
——激活函数是为了增加整个网络的非线性能力（如果只能表达线性映射，即使有再多的隐藏层，整个网络和单层神经网络也是等价的），即表达能力和抽象能力，接在Batch-normalisation之后，即输入(-1,1)。激活函数应保证可微性、单调性。激活函数输出值有限时，基于梯度的优化方法更加稳定，输出无限的时候，模型的训练更加高效。
本文标题：激活函数
本文链接：https://www.haomeiwen.com/subject/drbdbqtx.html
网友评论