Logistic Regression

简介：

Logistic Regression 逻辑回归模型，虽然被称为回归，但其实际上是分类模型，并常用于二分类。Logistic 回归的本质是：假设数据服从这个分布，然后使用极大似然估计做参数的估计。

logistic回归是一种广义线性回归（generalized linear model），因此与多重线性回归分析有很多相同之处。它们的模型形式基本上相同，都具有 wx+b，其中w和b是待求参数，其区别在于他们的因变量不同，多重线性回归直接将wx+b作为因变量，即y =wx+b，而logistic回归则通过函数L将wx+b对应一个隐状态p，p =L(wx+b),然后根据p 与1-p的大小决定因变量的值。如果L是logistic函数，就是logistic回归，如果L是多项式函数就是多项式回归

logistic回归的因变量可以是二分类的，也可以是多分类的，但是二分类的更为常用，也更加容易解释，多类可以使用softmax方法进行处理。实际中最为常用的就是二分类的logistic回归

回归问题的输出是联连续的，分类问题的输出是离散的：

左回归，右分类

如何把回归问题变成分类问题：

逻辑回归=线性回归+sigmoid()

sigmoid函数

即逻辑回归是：在线性回归的实数范围输出值上施加sigmoid函数将值收敛到0~1范围

线性回归的输出值是连续的y值，通过sigmoid函数映射到0-1之间的一个概率值

线性回归是用一条直线来拟合自变量和因变量之间的关系

将线性回归的输出作为sigmoid函数的输入，得到：

如果要求多元分类,就要把sigmoid换成softmax了

逻辑回归和线性回归首先都是广义的线性回归，其次经典线性模型的优化目标函数是最小二乘，而逻辑回归则是似然函数，另外线性回归在整个实数域范围内进行预测，敏感度一致，而分类范围，需要在[0,1]。逻辑回归就是一种减小预测范围，将预测值限定为[0,1]间的一种回归模型，因而对于这类问题来说，逻辑回归的鲁棒性比线性回归的要好。