1 简述

Logistic回归模型是 softmax回归模型 k=2 的特例，softmax回归就是一般线性回归的例子。

针对多类问题（逻辑回归解决的是二类划分问题），如数字字符的分类问题，0-9,10个数字，y值有10个可能性。而这种可能的分布，是一种指数分布，而且所有可能的和为1，则对于一个输入的结果，其结果可表示为：

softmax 回归函数 其中任意分类的概率公式 softmax的损失函数（ 逻辑回归损失函数的推广 ）

该损失函数的特点为有一个"冗余"的数据集，为了解决 softmax 回归参数冗余带来的数值问题，我们添加一个权重衰减项，来修改损失函数，这个衰减项可以惩罚过大的参数，现在损失函数变为：

L2正则化后的softmax损失函数

对于softmax损失函数最小化问题的求解，没有闭式解法（高阶多项方程组求解），仍用梯度下降法，或L-BFGS求解。经过求导，可以得到梯度公式如下：

2 softmax 回归 vs k个二元分类器

如果类别之间相互排斥，使用 softmax 回归。如果类别之间并不相互排斥，使用 k 个二元分类器。

3 类别不平衡的基本处理方法

基本策略是缩放调整：

M+ 表示训练集的正例数量；M- 表示训练集的反例数量；M-/M+表示观测几率

但是我们从训练集的观测几率推断真实几率，现在技术上大体有三类法：

1，直接对训练集里的反类样例进行“欠采样”，即去除一些反例使正、反例数目接近，再学习；代表算法 EasyEnsemble；

2，对训练集里的正类样例进行‘过采样’，即增加一些正例使正、反例数目接近，再学习；代表算法 SMOTE；

3，直接基于原始训练集进行学习，在用训练好的分类器进行预测时，将再缩放公式嵌入决策过程，称为“阈值移动”。

4 参考

对数几率回归（logistic 回归)： https://www.jianshu.com/p/db012849f292