深度学习原理4

4、激活函数

激活函数1.PNG

阈值函数在实际应用中非常少，因为这不是一个连续的函数，无法求导优化参数。

激活函数2.PNG

Sigmoid函数我们在之前逻辑回归的时候用到过，它的特点是递增，自变量取值任意，因变量在0到1之间，并且有两条水平方向的渐近线。
我们经常把这个函数作为神经网络的输出层的激活函数。因为这个函数连续可导，完美预测概率，但是有一个缺陷就是自变量太大或者太小的时候，变化率非常小，所以在神经网络中应用不是最广泛的，但是在输出层应用很多。当我们利用梯度下降优化参数时，它的优化速率与激活函数关于自变量的导数的大小成正比，导数越小，优化速度越慢。

激活函数3.PNG
线性整流函数应用最广泛的原因目前在理论上没有很好的解释，但是在很多个例子中应用这个线性整流函数，得到的预测效果是最好的。
激活函数4.PNG
是S函数的一个线性变换，在实际应用中和S函数几乎是等价的。
激活函数推荐阅读.PNG

为什么线性整流函数应用效果最好，这是在2011年写出来的，理论性较强，现在我们更关注直觉。

举例1.PNG
如果因变量是2值的，激活函数选用阈值函数或者S函数都是可以的，但是S函数可以估算出它属于1的概率，而且是连续的效果可能会更好一点。
举例2.PNG
这里因变量依然是二值的，但是网络结构更加复杂，我们在隐藏层选取线性整流函数，在输出层选取S函数。大部分情况下，我们在隐藏层大部分情况下都是用的线性整流函数。