深度学习02-激活函数和成本损失函数

损失函数：

机器学习中单个样本的预测值与真实值的差称为损失，失越小，模型越好，如果预测值与真实值相等，就是没有损失（损失为0，真实值-预测值=0）。 用于计算损失的函数称为损失函数。模型每一次预测的好坏用损失函数来度量。

损失函数在图像识别方面最好用的还是方差函数，即

平方差函数

激活函数

我们想要的函数应该是，能够接受所有的输入然后预测出类别。例如在两个类的情况下，分类函数能够输出0或1，这类函数成为“海威赛德阶跃函数”，然而这类函数的问题在于，该函数直接在跳跃点从0跳跃到1，这个瞬间的跳跃有点难处理，幸好有个函数有类似的性质，并且在数据上更容易处理。

激活函数的主要有：

sigmoid函数：

sigmoid函数，z是实数

此函数在坐标系中表示为单调递增的光滑曲线，如下图：

在（0,0.5）点分界

为什么要采用此函数呢：

假设有一个n维的输入列向量 x，也有一个n维的参数列向量h， 还有一个偏置量b， 那么就可以线性求和得到z：

但是由于此时因为z的值域是[−∞,+∞][−∞,+∞] ，是无法根据z来判断xx 到底是属于0还是1的。因此我们需要一个函数，来将z的值映射到[0,1]之间， 这就是激活函数。激活函数有很多种，这里的激活函数是sigmoid函数。

    a. 当z无穷小时，e<-z> = 1/e<z>≈0 ，则函数≈1/1+0 = 1；

    b. 当z无穷大时，e<-z> = 1/e<z> = 无穷大的数，分母变大，值越小≈0

sigmoid 函数取值过程

可以看到x越大，σ(x)σ(x)越接近1，反之，则越接近0. 那么在判断的时候，我们首先对之前得到的z代入sigmoid函数 ：

当 a 大于0.5的时候，我们判定x应属于1类，如果小于0.5，则属于0类。这样，就完成了判断的工作。

------------------- 待学习内容：

tanh

ReLU，P-ReLU, Leaky-ReLU

ELU

Maxout