目标:
构建一个logistics回归模型,依据学生两次考试的成绩来预测一个学生能否被大学录取
通过的输入数据文件为ex2data1.txt
:
# 为用逗号隔开的3列,分别为:exam1Score,exam2Score,lable
34.62365962451697,78.0246928153624,0
30.28671076822607,43.89499752400101,0
35.84740876993872,72.90219802708364,0
60.18259938620976,86.30855209546826,1
79.0327360507101,75.3443764369103,1
45.08327747668339,56.3163717815305,0
61.10666453684766,96.51142588489624,1
75.02474556738889,46.55401354116538,1
76.09878670226257,87.42056971926803,1
...
-
读入数据,并画出数据分布散点图
data = load('ex2data1.txt'); x = data(:,:2); y = data(:,3); % 画图 %% 区分出两类样本 pos = find(y==1); neg = find(y==0); figure; %% 画出pos类样本 plot(x(pos,1), x(pos,2),'k+','MarkerSize', 3); hold on; %% 画出neg类样本 plot(x(neg,1), x(neg,2),'ko','MarkerSize', 3); xlab('Exam 1 score'); ylab('Exam 2 score'); legend('Admitted', 'Not admitted'); hold off;
要得到的目标函数为 sigmoid 函数:
-
计算Cost和gradient
[m,n] = size(x); X = [ones(m),data(:,:2)]; initialTheta = zeros(1,n+1); % 计算初始的Cost和gradient [initalCost,initialGradient] = costFunction(X,y,initialTheta); % 打印出初始时的Cost和gradient fprintf('Cost at initial theta(zeros): %f\n",initialCost); fprintf('Gradient at initial theta(zeros): %f\n",initialGradient);
在计算初始的Cost (initalCost) 和 gradient (initialGradient) 时,调用了自定义的函数costFunction
损失函数为:
梯度的计算公式为:
下面给出costFunction函数的定义:
function [jVal,gradient] = costFunction(x,y,theta) predict = sigmoid(x*theta); leftCost = -y'*log(predict); rightCost = -(1-y)'*log(1-predict); jVal = (1/m)*(leftCost+rightCost); gradient = (1/m)*((predict-y)'*x); end
在上面的costFunction函数中又调用了sigmoid函数,定义为:
function g = sigmoid(x) g = 1./(1+exp(-x)); end
-
优化目标函数
使其目标函数的Cost最小化,即
可以像练习一那样使用传统的梯度下降方法进行参数的优化,但Octave内部自带了
fminunc
函数,可以用于非约束优化问题(unconstrained optimization problem)的求解fminunc函数的用法为:
%% 设置fminunc函数的内部选项 options = optmset('GradObj', 'on', 'MaxIter', 400); % 'GradObj', 'on' 设置梯度目标参数为打开状态,即需要给这个算法提供一个梯度 % 'MaxIter', 400 设置最大迭代次数 %% 使用fminunc函数执行非约束优化 [optTheta, functionVal, exitFlag] = fminunc(@costFunction, initialTheta, options);
一般情况下costFunction函数和它的函数名一样,只计算Cost值,不过由于这里要用到fminunc这个非约束优化函数,该函数需要提供Cost和gradient,所以在前面costFunction函数时,增加了一个计算梯度值的功能
-
画出决策分界面 (Decision Boundary)
先像前面的第一步那样,画出原始数据分布散点图
% 画图 %% 区分出两类样本 pos = find(y==1); neg = find(y==0); figure; %% 画出pos类样本 plot(x(pos,1), x(pos,2),'k+','MarkerSize', 3); %% 画出neg类样本 plot(x(neg,1), x(neg,2),'ko','MarkerSize', 3); xlab('Exam 1 score'); ylab('Exam 2 score');
然后在散点图的基础上,把分界线画出来
分界线满足:
得到x1和x2直接的关系为:
hold on; % 只需要选择两个点即可将直线画出 plot_x = [min(X(:,2))-2, max(X(:,2))+2]; plot_y = (-1./theta(3)).*(theta(2).*plot_x + theta(1)); plot(plot_x, plot_y) legend('Admitted', 'Not admitted', 'Decision Boundary') hold off;
网友评论