线性回归的概率解释

在解决线性回归问题时，我们为什么要使用最小二乘法作为代价函数？这个问题我们会通过概率统计来进行解释。

使用最小二乘法作为代价函数

假设对每个样本数据，输出值与预测值存在一定的误差ε⁽ⁱ⁾，误差可能来自未被建模的其他因素，也可能是随机的噪音。因而预测函数可写为

另外我们假设误差属于独立同分布(independently and identically distributed)，并且服从高斯分布N(0,σ²)，所以ε⁽ⁱ⁾的概率密度函数为

因此可推导出

P(y⁽ⁱ⁾|x⁽ⁱ⁾;θ)表示：在θ为给定的参数的情况下，概率y⁽ⁱ⁾以x⁽ⁱ⁾为随机变量的概率分布，注意θ不是随机变量。

给定X(输入矩阵)和θ，Y(输出矩阵)的分布记为p(Y|X;θ)，这个概率的值我们定义为以θ为变量的似然函数(likelihood function)

由于每个误差值是独立分布的，所以

在θ作为参数的情况下，我们希望给定X时出现Y的概率是最大，因此问题变成最大化L(θ)。在求解最大化L(θ)的过程中，对L(θ)取对数将简化一些运算，因此我们最大化对数似然函数l(θ)：

上面的公式可以得出，最大化似然函数L(θ)等价于最小化代价函数J(θ)，这就是我们为什么取最小二乘法作为代价函数的原因。

局部加权线性回归

如下左图显示了用线性函数y=θ₀+θ₁x拟合数据集的结果，由于数据集并不是一条直线，因此拟合效果不太理想。如果我们增加一个特征项x²，即用y=θ₀+θ₁x+θ₂x²拟合数据集，那么得到的结果如中间所示。粗看起来，增加更多的特征项可以使拟合效果更好，然而事实上并非如此。如果我们把特征项增加到6项，即y= Σ_j∈[0,5]θ_jx^j，我们得到的结果如右图所示。尽管这个曲线完美拟合整个数据集，但是我们很难说它能准确预测未知的新数据。我们把左图这种情况称为欠拟合(underfitting)，就是说模型没有很好地捕捉到数据特征，不能够很好地拟合数据；右图这种情况称为过拟合(overfitting)，就是说模型把数据学习得太彻底，以至于不能很好地预测新的数据。

欠拟合与过拟合

这里我们介绍一个新的方法称为局部加权线性回归(locally weighted linear regression)，它可以弥补普通线性回归模型欠拟合或者过拟合的问题。假设我们要预测x这个点对应的值，局部加权线性回归对x附近的每一个点赋予一定的权重，离x越近权重越大，离x越远权重越小。通过赋予权重，使得x附近的点对结果影响最大，离x很远的点对结果的影响可以忽略不计。因此代价函数表示如下，其中w⁽ⁱ⁾表示权重。

由上述对权重特性的描述，w⁽ⁱ⁾的图像应该是个钟形曲线。

通常我们定义w⁽ⁱ⁾的函数如下：

上式中的τ称为波长(bandwidth)，波长的大小取决了附近点的下降速率，参数根据对数据集的实验进行调整。

局部加权线性回归是一种非参数学习算法(non-parametric learning algorithm)，而之前我们学的普通线性回归是一种参数学习算法(parametric learning algorithm)。参数学习算法有固定的明确的参数，参数一旦确定，就不会改变了，我们不需要保留训练集中的训练样本。而非参数学习算法每进行一次预测，需要重新计算数据，因此需要保留训练数据。当训练数据较多时，非参数学习算法需要占用更多的存储空间。

逻辑回归

现在我们开始讨论分类(classification)问题。分类问题和回归问题很类似，只不过预测的y值从连续值变成了离散值。我们先从最简单的二分类(binary classification)问题开始讨论，此时y值只有0和1两个取值。0被称为负类(negative class)，1被称为正类(positive class)，有时也会用符号-和+标记。给定x⁽ⁱ⁾，对应的y⁽ⁱ⁾值也被称为训练集的标签(label)。

一个二分类的例子是，通过给定肿瘤的大小(x⁽ⁱ⁾)来预测是否为恶性肿瘤(y⁽ⁱ⁾)。我们先用之前线性回归的方法求解这个问题，如下图所示，从结果上看线性回归的效果并不好。