吴恩达机器学习-logistic回归

作者: 魏清宇 | 来源:发表于2019-01-21 16:08 被阅读0次

logistic回归—离散变量的分类问题

（0,1）分类，通常0表示“没有某样东西”，1表示“有某样东西”如有癌症，是垃圾软件等

上图所示是一个（0,1）分类问题，当y的取值为{0,1,2,3}时，就变成一个多分类问题

线性回归拟合而分类问题

上述问题是一个肿瘤预测问题，根据肿瘤的大小判断肿瘤是良性还是恶性的，当数据显示如图时，使用线性回归似乎是合理的肿瘤大小小于0.5对应的那个值时肿瘤为良性，大于时为恶性，但是，当多了一个数据点，如下图所示时，回归线可能会发生变化。

线性回归进行二分类问题预测

在这种情况下，阈值变成了蓝色圆点，此时蓝点左边的数据会被判断为良性，右边被判断为恶性。分类效果差。线性回归问题不适合于分类问题。分类问题的结果通常是0或1，但是根据线性回归问题求出的结果通常会大于一或小于零。而logistic回归得到的结果或分类会在（0，1）之间。logistic是一个用于输出为离散值0或1的分类问题，尽管他的名字是回归，但实际是用于分类。

logistic function

在进行分类问题的时候，我们希望标签范围在0~1的范围内，此时，我们就可以用到sigmoid function 即logistic function。我们原来的模型假设，形式为 $h_{\theta }(x) =\theta ^Tx$ ，此时我们将等式右边变换成 $g(\theta ^t x)$ ,g函数表示为一个sigmoid函数的形式，则原假设模型变为 $h_{\theta }(x)=\frac{1}{1+e^-\theta Tx }$ ,这样就保证输出值在（0,1）的范围内，要做的还是求解参数 $\theta$ 。

对于假说的输出结果的解释

输出结果表示，给定x的特征，则结果y=1的可能性有多大。如上例所示，0.7表示在x属于恶性肿瘤的可能性为70%数学表示为： $h_{\theta }(x)=P(y|x;\theta )$

决策边界

sigmoid function什么时候会将y预测为0，什么时候会预测为1。假设函数的形状是什么样。

假设函数与sigmoid function

我们已知 $h_{\theta } (x)$ 表示y=I的概率，当概率大于等于0.5时，我们将其分类为1，当小于0.5时，我们将其分类为0。由右边的sigmoid函数图象可知，当z=0时，g(z)=0.5,则当 $z>0$ 时 $g(z)>0.5$ ，y分类为1， $z<0$ 时 $g(z)<0.5$ ，y分类为0。在假说模型中， $z=\theta ^Tx$ 。因此，对于假说模型 $h_{\theta }(x) =g(\theta ^Tx )$ 来说，当 $\theta ^Tx>0$ 时，y=1;当 $\theta ^Tx <0$ 时，y=0。

线性决策边界

上图中 $x_{1}+x_{2}=3$ 的边界即为决策边界，在计算出参数 $\theta$ 的值以后，根据模型可以对模型进行分类，用于分类的平面即为决策边界，决策边界是假说模型的性质，与数据无关。

非线性决策边界

我们可以根据需要构造特征，在上例中，我们构造了两个二次特征，根据训练数据得到参数值 $\theta$ 以后，根据模型可以对数据进行分类，在上例中，我们得到一个非线性的决策边界，在外围y=1,在边界内y=0。当特征变量变得更多更复杂的时候，决策边界会变的更加复杂，形状也会更加不同。

logistic 回归中参数的拟合——优化模型，损失函数

参数求解问题中的变量

线性回归中的cost function

在logistics回归中沿用线性回归中的损失函数，会产生非凸函数，存在很多局部最优，无法求解全局最优，因而，在logistic回归中，我们使用如下损失函数。

logistic回归找中的cost function

上式将非凸优化问题转化为凸优化问题，坐标图表示在y=1的情况下，随着 $h_{\theta }( x)$ 取值的不同，损失函数的变化。当y=1时，若 $h_{\theta } (x)$ =0，则损失函数趋向于无穷，其意义为，若病人确实患有恶性肿瘤，你的预测却是非恶性的，则惩罚是很大的，趋向于无穷。若 $h_{\theta } (x)=1$ ,y=1,则损失函数值为0，如图所示。