损失函数：
机器学习中单个样本的预测值与真实值的差称为损失，失越小，模型越好，如果预测值与真实值相等，就是没有损失（损失为0，真实值-预测值=0）。 用于计算损失的函数称为损失函数。模型每一次预测的好坏用损失函数来度量。
损失函数在图像识别方面最好用的还是方差函数，即
平方差函数
激活函数
我们想要的函数应该是，能够接受所有的输入然后预测出类别。例如在两个类的情况下，分类函数能够输出0或1，这类函数成为“海威赛德阶跃函数”，然而这类函数的问题在于，该函数直接在跳跃点从0跳跃到1，这个瞬间的跳跃有点难处理，幸好有个函数有类似的性质，并且在数据上更容易处理。
激活函数的主要有：
sigmoid函数：
sigmoid函数，z是实数
此函数在坐标系中表示为单调递增的光滑曲线，如下图：
在（0,0.5）点分界
为什么要采用此函数呢：
假设有一个n维的输入列向量 x，也有一个n维的参数列向量h， 还有一个偏置量b， 那么就可以线性求和得到z：
但是由于此时因为z的值域是[−∞,+∞][−∞,+∞] ，是无法根据z来判断xx 到底是属于0还是1的。因此我们需要一个函数，来将z的值映射到[0,1]之间， 这就是激活函数。激活函数有很多种，这里的激活函数是sigmoid函数。
a. 当z无穷小时，e<-z> = 1/e<z>≈0 ，则函数≈1/1+0 = 1；
b. 当z无穷大时，e<-z> = 1/e<z> = 无穷大的数，分母变大，值越小≈0
sigmoid 函数取值过程
可以看到x越大，σ(x)σ(x)越接近1，反之，则越接近0. 那么在判断的时候，我们首先对之前得到的z代入sigmoid函数 ：
当 a 大于0.5的时候，我们判定x应属于1类，如果小于0.5，则属于0类。这样，就完成了判断的工作。
------------------- 待学习内容：
网友评论