回归算法——逻辑回归

在线性回归的基础上，如果因变量不是连续变量，而是0-1变量，怎么办呢？
这里我们需要一个阈值函数，将因变量的取值做一下划分，映射成0-1变量。
回归算法就加了一个sigmoid函数，实现这个映射。

其中参数θ常用极大似然估计。

敲黑板，划重点

逻辑回归123：

1. 逻辑回归广泛用于分类，尤其是二分类问题（毕竟0-1映射不是白做的）；当然也可以用于回归。
2. 逻辑回归不要求自变量和因变量存在线性关系（太有爱了有木有，毕竟哪里有那么多的线性关系呢），原因是在求参数的时候使用了一个非线性的log转换。
3. 逻辑回归要求较大的样本量，如果样本量较少，参数估计的时候考虑用最小二乘法。
4. 逻辑回归要求自变量之间应该互不相关。
5. 因变量是定序变量的情况下我们称该回归为定序逻辑回归

参考文章：
http://blog.csdn.net/programmer_wei/article/details/52072939