LR算法
回头看LR算法真是异常简单啊
但是算法背后的数学原理想讲清楚也不容易
LR算法可以解决分类和回归问题
整个过程重点在于选择特征，以及特征离散化。
---特征、特征权重、预测值、预测分类
重要函数，见微知著：虽然是最简单的LR模型但是也是完整地完成整个做一个模型的流程。
1、激活函数：
sigmoid 1/(1+e^(-x))
对应softmax:
softmax
2、损失函数：
交叉熵 loss -[ylog(p)+(1-y)log(1-p)]
损失函数
3、梯度下降：
sigmoid函数的导数是：x(1-x)
关于输出的求导
关于参数的求导和参数更新
softmax的梯度求导：
梯度求导
4、参数更新：
softmax函数的参数更新过程：
softmax的公式：
e(wx)/(sum(e(wx))
参数更新的整体过程都为：
w=w-a.求导
得求导求到参数w的部分：
即为：
w=w-a.(求导结果).x
todo:
使用tensorflow完成lr模型，也是说一个最简单的lr模型，也是完成一个完整的模型~
参考资料
1、常见的损失函数(loss function)总结
https://zhuanlan.zhihu.com/p/58883095
2、softmax的log似然代价函数（公式求导）
https://blog.csdn.net/u014313009/article/details/51045303
网友评论