分类问题

1. overfitting and underfitting

过拟合（overfitting）：当学习器把训练样本学得“太好”了的时候，很可能已经把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质，这样会导致泛化性能下降，这种现象称为过拟合。

欠拟合（underfitting）：对训练样本的一般性质尚未学好，这种现象称为欠拟合。

（图源《机器学习》）

2. Locally weighted regression

针对所有训练样例来说构造出一个线性模型不太现实，那么就可以对要预测的输入量附近的一些点训练出一个回归模型，这样也可以达到预测输出的目的，这个过程可以采用局部加权回归的方法。

在这里控制附近点的值是ω，若为输入量的附近的点时，ω接近于1，若离输入量比较远时，ω接近于0，如此起到了取附近的点训练回归模型的目的。

对ω中的τ进行一个说明：当τ比较大时，权值函数分布较广；

                                         当τ比较小时，权值函数分布集中。

3. The reason of using at least square model

推导出了J(θ)。

最小二乘法的目的：实际上是在假设误差项满足高斯分布，且独立同分布的情况下，是似然性最大化。

4. Classification

Using linearregression to solve classification problem is a bad idea.

Sigmoid function:

   以此引申到使用sigmoid函数解决{0,1}分类问题。

在这里推导出的θ表面上与回归算法中的相同，然而存在的重要差别是这里的输出值、实际值是离散的。

5. Perception algorithm

图源《机器学习》

感知机模型：将输入值直接映射为“0”或“1”。