逻辑回归是线性回归的变形，看了很多机器学习书籍，吴恩达的课程对线性回归和逻辑回归的讲解非常清晰，原理性和推导都很好理解。
我一直认为好老师标准不在于拥有多深奥的知识，而在于能否良好的传授，不仅仅是知识，而是学习的思路。独孤九剑还需要好老师传授才能发扬广大～。
网易：http://study.163.com/course/courseMain.htm?courseId=1004570029
coursera原版：https://www.coursera.org/learn/machine-learning
笔记包括：
课程理论学习
算法实现：Octave
算法应用：Spark监控事件根源分析。我从事的IT运营支撑领域，每天产生大量的监测异常事件，很多事件是关联引发，而不是根源问题，从成千上百个事件中定位，找到根源一直是十分令人头疼的事情。尝试通过逻辑回归，结合人工打标注的方式，根据历史数据，对新产生的事件进行预测，是根源的可能性，帮助快速的定位。例如：网络故障/不稳定，引发一些列的应用访问异常、业务（订单/产品）异常等事件，随着IT系统规模的增大/快速变化，建立专家库去梳理规则不适合，通过逻辑回归算法做分类是一种尝试。
涉及到推导部分的数学基础，主要是微积分和矩阵计算，可以看看以下课程前几章：
麻省理工的微积分，会求导就行： http://study.163.com/course/courseMain.htm?courseId=1003649073
麻省理工的线性代数，会矩阵计算，求逆转置： http://study.163.com/course/courseMain.htm?courseId=1003649037
1. 理论学习
1.1 概览
线性回归是通过连续数据预测连续结果，而逻辑回归是通过连续数据，预测离散结果。说白话就是一堆数据，得出分类结果（如yes/no）。逻辑回归的结果 0<=h(x)<=1。
0和1的二分法则适用于很多场景，例如垃圾邮件监测、活跃用户监测、分类。举个栗子：如果获取到医疗有关恶性肿瘤的数据，得到数据特征：肿瘤大小(Tumor Size)，以及医生判定结果1:恶性，0：良性；建立起模型（计算函数）就可以实现预测，已知肿瘤大小，预测是否恶性。这是最简化的单变量（特征）的预测。
1.2 与线性回归的差异
假如我们使用线性回归Linear Regression，看看是否可以建立起一个函数h(x)=θ'X做预测：
肿瘤预测（肿瘤大小与是否恶性肿瘤）
通过线性回归函数，可以（计算）画一根线，得出结论当h(x)>=0.5就可以判定是恶性肿瘤。如果存在异常值后，线性回归会拟合新的数据，出现了新的线（上图蓝色线），那么当使用0.5阈值时，就会出现很差劲的效果，上图看至少有几个点出现判断错误。所以线性回归并不适合，所以需要做些修改，这就引入了逻辑回归 Logistic Regression.
新增异常点发现0.5阈值不靠谱
1.3 逻辑回归公式推导
简书不好编辑数学公式，只好贴图了～。
(1) 假设数据抽取的特征为X(i)={x1,x2,...xn}, 那么一系列的数据建立的就是m行n列的矩阵X，其中列一般是n，意味着n个特征。
(2) 假设θ是回归参数向量（一阶矩阵），θ={θ0,θ1,θ2...,θn}，是n+1，对应n个特征。具体是神马暂不用理解.
(3) 假设h(x)是预测函数。线性回归是h(x)=θ'X, θ'是θ的转置，最后预测函数h(x)范围是[0,1]。
结果为y(i)在{0,1}范围。需要建立的预测函数h(x)
逻辑回归模型
由于最终取值是0,1，这里一般选择了一个回归函数，也叫sigmoid函数
z=θ'X
g(z)=1/(1+e^-z)
选择g(z)作为回归函数，很大程度就是因为指数方式图形，最后是在[0,1]之间，而且很好理解的是当z>>0 远远大于0时，h(x）≈ 1，或者是z>0 ，h(x) >0.5 预测值=1；相反则是0，很好的符合[0,1]的判断。
逻辑回归函数图形
汇总一下，回归函数就是：
h(x)=1/(1+e^-θ'X)
怎么理解这个函数呢？可以理解为当输入x后，y=1的可能性概率。如果h(x)=0.7，那么意味这y=1的可能性概率高。也可以换成概率论理解h(x)=P(y=1 | X;θ)，已知参数θ和X，y=1的概率。
逻辑回归函数含义
逻辑回归函数h(x)=1/(1+e^-θ'X)，我们如果求解了回归参数θ，那么代入新的x值，就可以实现预测了，如上图x=[1; 2(肿瘤大小)]; 假设θ=[3;4]，那么：
z=θ'X=3*1+4*2=11
h(x)=g(z)=1/(1+e^-11)=0.99998
那么很遗憾，有0.99998的概率是恶性肿瘤y=1。畅想下，医疗行业的数据积累如果能够共享，建立数据集，就可以通过技术手段做一些辅助决策判断，提升效率～
1.4 代价函数
得到回归函数，我们就要计算代价函数，通过代价函数，计算对应的θ值，就可以建立h(x)了。
如何计算θ是关键
吴恩达老师从线性回归的代价函数，推导出了逻辑回归的新代价函数。我们先看看线性回归的代价函数J(θ)
线性回归的代价函数
那么用这个线性回归的代价函数，有什么问题呢？可以用，但是效果不理想。将h(x)代入上述公式，得出下图左侧的“non-convex”图看，代价函数J(θ)图形是非凸函数，直白点来说，就是有很多切线（导数）为0的点。按照线性回归那章说的梯度下降法，就是要寻找导数为0的点。也就是说如果代价函数不是凸函数，那么就存在局部的最低点，效果不理想，会欠拟合（不准确）。所以我们期望J(θ)是一个convex 凸函数，碗底就是要求解的点（全局最小值）。
代价函数推导
其实回想下h(x)=1/(1+e^-θ'X) 该函数就不是一个线性函数，对应的代价函数J(θ)必然也不是线性的。
使用对数函数log作为代价函数
简化后就是:
Cost(h(x),y)=-ylog(h(x))-(1-y)log(1-h(x))
合并复杂代价公式为简化公式
最后简化的公式
J(θ)出来后，这个就是一个线性凸函数，可以看到很巧妙的将y=1时-log(h(x)), y=0时-log(1-h(x))结合起来，因为y={0,1}，因为无论y是那个取值，必然是线性的对数函数log。
1.5 梯度下降求解θ
对于J(θ)函数求最小值，梯度下降的算法就是对J(θ)求导.
逻辑回归的梯度下降
详细的求解过程如下图，介绍几个微积分求导的公式有助于理解：
(uv)'=u'v+uv';
(u/v)'=(u'v-uv')/v^2; 当u=1时，常量导数=0 （1/(1+e^-x))'=-(1+e^-x)'/(1+e^-x)^2;
(u+v)'=u'+v';
梯度求解公式推导过程
1.6 算法小结
基本上逻辑回归Logistic Regression方法是很有效的分类方法，在进行实际生产中，可以快速的应用并得到比较不错的效果。
由于单类别（二分）的计算，实际上在此基础上可以进行多分类划分，就需要加一些步骤。这个在下面算法实现中会提到。
2. 算法实现
使用开源的Octave（有钱的可以用Matlab），这是一个非常优秀的数学计算工具，安装简单，适用与demo和早期算法模型验证。毕竟一开始就动手写大段Java/Python代码去验证一个模型和算法，代价较大。
这里用到线性代数，矩阵计算的方式来进行，基本上机器学习大多基于矩阵进行计算。线性代数不好的同学，看下麻省线性代数前几章就能理解了： http://study.163.com/course/courseMain.htm?courseId=1003649037
下载代码
这里使用了测试数据是入学考试成绩，x1是第一次成绩，x2是第二次成绩
2.1 计算过程
计算过程大致如下：
1. 已知数据X，结果y。
2. 随机初始化θ
3. 计算代价函数J(θ)，得到代价值
4. 梯度下降，得到J(θ)导数，更新θ
5. 重复2-4，遍历N次。
6. 求得θ，获取h(x）函数，进行预测。
简单起见，这里省略掉了交叉验证环节。
2.2 代价函数
代价函数lrCost.m
function [J,grad]=lrCost(theta,X,y)
m=length(y);
X=[ones(m,1),X]; %新增x0列=1hx=X*theta;
h=zeros(m,1);
h=sigmoid(hx); %g(z)=1/(1+e^-z)
Jtmp=0;
for i=1:m,
Jtmp=Jtmp+(-y(i)*log(h(i))-(1-y(i))*log(1-h(i)));
end;
J=(1/m)*Jtmp; %计算cost函数J(θ)
grad=(1/m)*X'*(h-y); % 求导J,梯度下降
end
回归函数g(z), sigmoid.m
function g=sigmoid(z)
[m n]=size(z);
g=zeros(size(z));
for i=1:m,
for j=1:n,
g(i,j)=1/(1+e^(-z(i,j)));
end;
end;
end
好了现在就可以开始使用了，请保证Octave的目录与代码同目录
data=load('ex2data1.txt');
X=data(:,1:2);
y=data(:,3);
initial_theta=[0;0;0];
options = optimset('GradObj', 'on', 'MaxIter', 400);
[theta, cost] = fminunc(@(t)(lrCost(t, X, y)), initial_theta, options);
调用octave的内建函数fminunc();来获得最优的theta和最小的cost。大致含义就是使用梯度下降，执行400次cost函数lrCost，求得最后的θ和代价J(θ)。
执行逻辑回归计算
如上图，计算得出θ =[-25.16;0.20;0.20]; h(x)=-25.16+0.20*x1+0.20*x1;
写个预测程序predict.m
function y=predict(theta,X)
X=[ones(size(X,1),1),X];
disp(X);
y=sigmoid(X*theta);
y=y>0.5;
end
预测值>0.5就是y=1;
调用预测
3. 算法应用
先占坑，后面在用spark写个应用。
spark 官方git 示例： https://github.com/apache/spark/blob/master/examples/src/main/java/org/apache/spark/examples/ml/JavaLogisticRegressionSummaryExample.java
网友评论