机器学习

***sigmoid函数的使用。。。。

在以后的机器学习和深度学习会普遍用到。。。

sigmoid function ，step function

模拟神经元，神经网络

sigmoid优缺点：优点，激活函数，1输出范围有限不容易发散，缓和，2输出范围是0-1，可用于做输出层当作概率。3求导容易。

         缺点是在饱和情况下梯度太小。

***梯度下降算法、

计算损失函数之后，用求导的思想进行求导

学习率进行调整

***均方差代价函数

MSE（mean squared error）

***交叉熵代价函数

cross-entropy cost function

收敛更快，C = -1/nZylna+(1-y)ln(1-a)

当真实值，和期望值比较接近的时候C趋近于0

当真实值与期望值相差较大的时候，也就是Cost代价函数比较大的时候，C变化更快

所以比较能够解决二次方差代价函数的下降梯度过小的问题。

***sigmoid与softmax

***解决函数的overfitting

过拟合，解决模型的过拟合：

第一种方法，增加数据集的量

http://doc.okbase.net/jianxinzhou/archive/111322.html

***l1 正则化与l2正则化

http://blog.csdn.net/jinping_shi/article/details/52433975