- logistic回归解决二分类问题
- softmax回归解决多分类问题
Softmax回归模型是logistic回归模型在多分类问题上的推广
REF:http://ufldl.stanford.edu/wiki/index.php/Softmax%E5%9B%9E%E5%BD%92
首先研究下 逻辑回归
https://www.cnblogs.com/Belter/p/6128644.html
sigmoid函数 （激活函数）
逻辑回归一般使用交叉熵作为代价函数。
看来想明白逻辑回归，需要再学习两个概念:交叉熵和代价函数。
好吧，耐下心来。
代价函数/损失函数（Loss Function）:
http://www.cnblogs.com/Belter/p/6653773.html
在机器学习中的每一种算法中都很重要，因为:
- 训练模型的过程 就是 优化代价函数的过程
- 代价函数对每个参数的偏导数 就是 梯度下降中提到的梯度
- 防止过拟合时添加的正则化项也是加在代价函数后面的。
代价函数的常见形式：
- 均方误差(Mean squared error) 常用于线性回归
- 交叉熵(Cross Entropy) 常用于逻辑回归和神经网络
逻辑回归是神经网络的一种特例（没有隐藏层的神经网络）
交叉熵
https://blog.csdn.net/rtygbwwwerr/article/details/50778098
https://www.zhihu.com/question/41252833/answer/108777563
TF.jpg
网友评论