理解激活函数

一、何为激活函数？

• 深度学习中，激活函数通常指能够实现非线性映射的函数

二、为什么需要非线性激活函数？

• 定义：这里根据常用表示方法将隐藏层第一层作为神经网络的第1层，输入层则作为第0层
• 
• 根据上述推导，如果使用线性激活函数，无论神经网络有多少层，都只是计算输入特征的线性组合，那还不如全部去掉所有隐藏层。

三、常用的激活函数

四、经验法则

• 不同层的激活函数可以不一样
• sigmoid函数除了用在二元分类的输出层，其他情况建议不要使用
• ReLU函数（修正线性单元）最常用

五、激活函数的导数