吴恩达机器学习——多变量线性回归

最近在学习吴恩达老师的机器学习课程，今天简要地给大家分享课程第四章多变量线性回归地内容。 感兴趣的伙伴可以参考吴恩达老师地机器学习课程笔记的网站：https://github.com/fengdu78/Coursera-ML-AndrewNg-Notes

4.1多维特征

目前为止，我们探讨了单变量/特征的回归模型，现在我们对房价模型增加更多的特征，例如房间数楼层等，构成一个含有多个变量的模型，模型中的特征为。
例如：

在增添更多特征后，我们引入一系列新的注释：
𝑛 代表特征的数量
代表第 𝑖 个训练实例，是特征矩阵中的第𝑖行，是一个向量。
比方说，代表是特征矩阵中的第2行

那么对应所给出的例子不难看出：
代表特征矩阵中第 𝑖 行的第 𝑗 个特征，也就是第 𝑖 个训练实例的第 𝑗 个特征。易知：=3，=2；

而支持多变量的假设 ℎ 表示为：
= + + +. . . +，
这个公式中有𝑛 + 1个参数和𝑛个变量，为了使得公式能够简化一些，引入 = 1(此操作不改变公式本身，但是方便了后面公式的表达），则公式转化为： = + + +. . . +
此时模型中的参数是一个𝑛 + 1维的向量，任何一个训练实例也都是𝑛 + 1维的向量，特征矩阵𝑋的维度是 𝑚 ∗ (𝑛 + 1)。 因此公式可以简化为：ℎ𝜃(𝑥) = ，其中上标𝑇代表矩阵转置。

4.2多变量梯度下降

与单变量线性回归类似，在多变量线性回归中，我们也构建一个代价函数，则这个代价函数是所有建模误差的平方和，即：

其中： == + + +. . . +。

我们的目标和单变量线性回归问题中一样，是要找出使得代价函数最小的一系列参数。联立上面的式子,则多变量线性回归的批量梯度下降算法为：

求导数后得到：

那么，

同时，我们可以在开始时随机选择一系列的参数值，计算所有的预测结果后，再给所有的参数一个新的值，如此循环直到收敛。

4.3梯度下降法实践1-特征缩放

在我们面对多维特征问题的时候，我们要保证这些特征都具有相近的尺度，这将帮助梯
度下降算法更快地收敛。
以房价问题为例，假设我们使用两个特征，房屋的尺寸和房间的数量，尺寸的值为 0-
2000 平方英尺，而房间数量的值则是 0-5，以两个参数分别为横纵坐标，绘制代价函数的等
高线图能，看出图像会显得很扁，梯度下降算法需要非常多次的迭代才能收敛。

解决的方法是尝试将所有特征的尺度都尽量缩放到-1 到 1 之间。如图：

但是，其实不一定严格要求在-1到1之间，一般来说，在平时的操作中，如果取到[0,3],[-2,0.5]这些范围都是可行的——以范围不能与[-1,1]差太多为前提，即范围不能太大或者太小。

而达到上述步骤最简单的方法是令：=，其中 是平均值，是标准差（变量的标准差可以表示成范围的max-min）。

上面对数据的处理步骤是对数据做预处理——做归一化或者是标准化，就和特征缩放相似。一般来说，特征缩放并不需要太准确，只是为了让梯度下降，能够运行快一点而已。

4.4梯度下降法实践2-学习率

梯度下降算法收敛所需要的迭代次数根据模型的不同而不同，我们不能提前预知，我们可以绘制迭代次数和代价函数的图表来观测算法在何时趋于收敛：

以横坐标为梯度下降法的迭代步数，纵坐标为使代价函数（最小）的J(𝜃)值，可以看出，起初随着迭代步数的不断增加，代价函数在不断减小。当迭代步数达到300次时，再增加迭代次数时，曲线依旧十分平缓，代价函数基本不怎么减少了，那么我们可以认为梯度下降算法已经基本上收敛了——则这条曲线可以帮我们判断最佳迭代步数。

不过，一般来说，根据实验模型、代价函数的不同，每次迭代要增加的步数也不同，
所以我们很难提前判断梯度向下算法需要多少步迭代才能收敛，这个需要根据实际情况进行判断。
通常我们会画出代价函数随迭代步数增加的变化曲线来试着判断，梯度下降算法是否已经收敛。
另外，也有一些自动的收敛测试，例如将代价函数的变化值与某个阀值（例如0.001）进行比较，
但通常看上面这样的图表效果会更好。

梯度下降算法的每次迭代受到学习率的影响，如果学习率𝑎过小，则达到收敛所需的迭
代次数会非常高；如果学习率𝑎过大，每次迭代可能不会减小代价函数，可能会越过局部最
小值导致无法收敛。
通常可以考虑尝试些学习率：
𝛼 = 0.01，0.03，0.1，0.3，1，3，10。（基本是以3的倍数增长）

4.5特征和多项式回归

如房价预测问题：

= + × 𝑓𝑟𝑜𝑛𝑡𝑎𝑔𝑒 + × 𝑑𝑒𝑝𝑡ℎ
= 𝑓𝑟𝑜𝑛𝑡𝑎𝑔𝑒（临街宽度）， = 𝑑𝑒𝑝𝑡ℎ（纵向深度），𝑥 = 𝑓𝑟𝑜𝑛𝑡𝑎𝑔𝑒 ∗ 𝑑𝑒𝑝𝑡ℎ = 𝑎𝑟𝑒𝑎
（面积），则： = + 。

但是线性回归并不适用于所有数据，有时我们需要曲线来适应我们的数据，比如一个二次方
模型： = + +

或者三次方模型： = + + + 。
则：

通常我们需要先观察数据然后再决定准备尝试怎样的模型。 另外，我们可以令：
= , = ，从而将模型转化为线性回归模型。
根据函数图形特性，我们还可以使：
= + +
或者:
= + +

而选择怎么样的方程我们通常要结合实际情况来判断，像上图给的房价模拟模型，我们知道：房价是不会随着面积增长而下降的，但是二次函数会增长到一定量后下降，这是它函数的性质决定的，是与房价的实际情况不相符的，所以我们会后续考虑到三次函数和开二次根号函数。

注：如果我们采用多项式回归模型，在运行梯度下降算法前，特征缩放非常有必要。

4.6正规方程

到目前为止，我们都在使用梯度下降算法，但是对于某些线性回归问题，正规方程方法
是更好的解决方案。如：

正规方程是通过求解下面的方程来找出使得代价函数最小的参数的：

假设我们的训练集特征矩阵为 𝑋（包含了 = 1）并且我们的训练集结果为向量 𝑦，则利
用正规方程解出向量 𝜃 = 。

上标 T 代表矩阵转置，上标-1 代表矩阵的逆。设矩阵𝐴 = ，则：= 。

以下表示数据为例：

即：

运用正规方程方法求解参数：

梯度下降与正规方程的比较：

注：对于那些不可逆的矩阵（通常是因为特征之间不独立，如同时包含英尺为单位的
尺寸和米为单位的尺寸两个特征，也有可能是特征数量大于训练集的数量），正规方程方法是不能用的。

总结一下，只要特征变量的数目并不大，标准方程是一个很好的计算参数𝜃的替代方法。
具体地说，只要特征变量数量小于一万，我通常使用标准方程法，而不使用梯度下降法。

随着我们要讲的学习算法越来越复杂，例如，当我们讲到分类算法，像逻辑回归算法，
我们会看到，实际上对于那些算法，并不能使用标准方程法。对于那些更复杂的学习算法，
我们将不得不仍然使用梯度下降法。因此，梯度下降法是一个非常有用的算法，可以用在有
大量特征变量的线性回归问题。或者我们以后在课程中，会讲到的一些其他的算法，因为标
准方程法不适合或者不能用在它们上。但对于这个特定的线性回归模型，标准方程法是一个
比梯度下降法更快的替代算法。所以，根据具体的问题，以及你的特征变量的数量，这两种
算法都是值得学习的。

标准方程要注意的一些地方：

1求方程J最小化的情况：

对方程求导并使导数为零，就可以求得J(𝜃)的min。
则对于多个𝜃的参数下：

我们只需要对每一个𝜃参数进行求偏导，从𝜃1到𝜃n，当我们求解完全部的值时，就会有一个最小的J(𝜃)的解。

2.正规方程及不可逆性（4.7选修）

对于矩阵𝑋′𝑋的结果是不可逆的情况很少发生，在 Octave 里，如果你用它来实现𝜃的计
算，你将会得到一个正常的解。在 Octave 里，有两个函数可以求解矩阵的逆，一个被称为
pinv()，另一个是 inv()，这两者之间的差异是些许计算过程上的，一个是所谓的伪逆，
另一个被称为逆。使用 pinv() 函数可以展现数学上的过程，这将计算出𝜃的值，即便矩阵
𝑋′𝑋是不可逆的。
在 pinv() 和 inv() 之间，又有哪些具体区别呢 ?

1)其中 inv() 引入了先进的数值计算的概念。

例如，在预测住房价格时，如果𝑥1是以英
尺为尺寸规格计算的房子，𝑥2是以平方米为尺寸规格计算的房子，同时，你也知道 1 米等于
3.28 英尺 ( 四舍五入到两位小数 )，这样，你的这两个特征值将始终满足约束： = ∗
实际上，你可以用这样的一个线性方程，来展示那两个相关联的特征值，矩阵𝑋′𝑋将是
不可逆的。

2）特征值过多，样本过少

第二个原因是，在你想用大量的特征值，尝试实践你的学习算法的时候，可能会导致矩
阵𝑋′𝑋的结果是不可逆的。 具体地说，在𝑚小于或等于 n 的时候，例如，有𝑚等于 10 个的
训练样本也有𝑛等于 100 的特征数量。要找到适合的(𝑛 + 1) 维参数矢量𝜃，这将会变成一个
101 维的矢量，尝试从 10 个训练样本中找到满足 101 个参数的值，这工作可能会让你花上
一阵子时间，但这并不总是一个好主意。因为，正如我们所看到你只有 10 个样本，以适应
这 100 或 101 个参数，数据还是有些少。
那么如何改进呢：总的来说有两种思路：删掉一些多余的特征，或采取正规化的方法。不过
，出现不可逆矩阵的情况极少发生，所以在大多数实现线性回归中，出现不可逆的问题不应该
过多的关注 是不可逆的。