吴恩达-机器学习笔记（第三周）

作者: 楠子小先生 | 来源:发表于2019-03-15 23:32 被阅读0次

六、逻辑回归(Logistic Regression)

6.1 分类问题

本节介绍了分类问题最流行的一种算法——逻辑回归 (Logistic Regression)算法。逻辑回归的本质：输出在（0，1）内的连续值。
“回归”体现在输出连续值，但因为逻辑回归解决的是分类问题，将输出值限定在（0，1）之间。对于二分类问题来说，问题有两种结果：1代表正向类，0代表负向类。逻辑回归算法设定一个阈值（如0.5），则输出[ 0.5, 1)代表正向类，(0, 0.5)代表负向类。
注，逻辑回归输出的值表示概率（和输出范围在（0,1）结合理解），e.g.输出为0.7代表结果为1的概率为70%，结果为0的概率为30%。

6.2 假说表示

本节解决如何让输出为在（0，1）上的连续值。
引入逻辑函数（logistic function)，将input放入逻辑函数中，使得其输出限定在(0,1)。常用的逻辑函数有：Sigmoid函数—— $g(z)={1\over(1+e^{-z})}$

因此逻辑回归模型为 $h_θ (x)=g(θ^T X)$

python代码实现：

import numpy as np
def sigmoid(z):
   return 1 / (1 + np.exp(-z))

$h_θ (x)$ 表示对于input，其output =1的概率，即 $h_θ (x)=P(y=1|x;θ)$

6.3 判定边界

本节介绍了决策边界(decision boundary)的概念。

看上图，我们可以看到，当z >= 0时，h_θ (x) >= 0.5, 预测 y=1。z < 0时，h_θ (x) < 0.5, 预测 y=0。其中，z=θ^Tx= θ₀+θ₁ x₁+θ₂ x₂+... ，
假设现有参数θ 是向量[-3,1,1]。则z=θ^Tx=-3+x₁+x₂ 。

则z >= 0 表示x₁+x₂ >= 3的区域（预测 y=1），z < 0表示x₁+x₂<3的区域（预测 y=0）。

我们同样可以用非常复杂的模型来适应非常复杂形状的判定边界。比如用二次模型h_θ (x)=g(θ₀+θ₁ x₁+θ₂ x₂+θ₃ x₁²+θ₄ x₂²)，θ=[-1 0 0 1 1]表示下图的分布情况。

6.4 代价函数

和之前一样，要训练参数θ，需要求代价函数。若用线性回归模型的代价函数（所有模型误差的平方和），得到的代价函数将是一个非凸函数（non-convexfunction），这意味会受许多局部最小值的干扰。

为此我们必须重新定义代价函数：

h_θ (x)与 Cost(h_θ (x),y)之间的关系如下图所示：

如果真实值y=1，则h_θ (x)离1越近 cost越小，且当h_θ (x)=1时，-log1=0，代表无误差，若y=0，则h_θ (x)离0越近 cost越小，且当h_θ (x)=0时，-log(1-0)=0，代表无误差。

将Cost函数合并：

$Cost(h_θ (x),y)=-y×log(h_θ (x))-(1-y)×log(1-h_θ (x))$ ，

则代价函数J为：

$J(θ)={1\over m} ∑_{i=1}^m[-y^{(i)} log(h_θ (x^{(i)}))-(1-y^{(i)} )log(1-h_θ (x^{(i)} ))]$
$=-{1\over m} ∑_{i=1}^m[y^{(i)} log(h_θ (x^{(i)}))+(1-y^{(i)} )log(1-h_θ (x^{(i)} ))]$
如此得到的代价函数J(θ)会是一个凸函数，并且没有局部最优值。

Python代码实现：

import numpy as np
def cost(theta, X, y):
  theta = np.matrix(theta)
  X = np.matrix(X)
  y = np.matrix(y)
  first = np.multiply(-y, np.log(sigmoid(X* theta.T)))
  second = np.multiply((1 - y), np.log(1 - sigmoid(X* theta.T)))
  return np.sum(first - second) / (len(X))

代价函数求导过程
上图看出，得到的梯度下降算法形式上与线性回归的一样，但由于这里给input套了一层Sigmoid函数，所以实际上是不一样的。另，依然要重视在梯度下降前进行特征缩放。

6.5 简化的成本函数和梯度下降

逻辑回归的代价函数：

即：

形式上，与求线性回归时一样，每一步 θ都减去预测误差乘以

处理多分类问题：

假设有一个训练集，有3个类别。我们可以将一个训练集分成3个二元分类问题：
类1为正类，类2类3为负类；
类2为正类，类1类3为负类；
类3为正类，类1类2为负类.

三分类问题
得到一系列的模型简记为：

分成3次二分类
这样我们就有了3个逻辑回归分类器

欠拟合刚好过拟合
左图：线性模型，欠拟合，不能很好地适应我们的训练集；
右图：四次方模型，过拟合，能非常好地拟合训练集，但预测新input时，效果可能很差；
中图：最合适。

分类中也如此：

模型x的次数越高，拟合的越好，但越可能过拟合。

如何处理过拟合？

1.丢弃一些不重要的特征。可以是手工选择保留哪些特征，或者使用一些模型选择的算法来帮忙（例如PCA）
2.正则化。保留所有的特征，但是减少参数的大小（magnitude）。

7.2 代价函数

假设有模型：
$h_θ (x)=θ_0+θ_1 x_1+θ_2 x_2^2+θ_3 x_3^3+θ_4 x_4^4$
该模型的过拟合是由高此项产生的，因此，我们要想办法让高次项的系数θ-->0，这样就能很好的拟合了。这就是正则化的基本方法。
为了减少 $θ_3和θ_4$ 的大小，我们给 $θ_3和θ_4$ 设置一点惩罚，操作如下：

这样选择出的

若λ过大，会使所有θ过小，导致模型

对上面的算法中 $j=1,2,...,n$ 时的更新式子进行调整可得：
$θ_j:=θ_j (1-a {λ\over m})-a {1\over m} ∑_{i=1}^m(h_θ (x^{(i)})-y^{(i)})x_j^{(i) }$
可以看出，正则化线性回归的梯度下降算法的变化在于，每次都在原有算法更新规则的基础上令θ值减少了一个额外的值。

我们同样也可以利用正规方程来求解正则化线性回归模型，方法如下所示：

图中的矩阵尺寸为 (n+1)*(n+1)。(其实正规方程这块我也没搞太懂，先留个坑)

7.4 正则化的逻辑回归模型

正则化的逻辑回归代价函数：

$J(θ)={1\over m }∑_{i=1}^m[-y^{(i)} log(h_θ (x^{(i)} ))-(1-y^{(i)} )log(1-h_θ (x^{(i)} ))]+{λ\over 2m} ∑_{j=1}^nθ_j^2$

梯度下降算法

注：

(1)依旧是，炒冷饭一样的提醒，逻辑回归和线性回归的正则化代价函数“形式一样，概念不同”。
(2) $θ_0$ 不参与其中的任何一个正则化。