（17）监督学习-回归问题

    回归问题常用来进行预测。主要的分类有

（1）线性回归

        使用最小二乘法进行曲线拟合，其损失 为均分误差。

（2）局部加权线性回归

        每次计算前赋予当前回归函数周边的点不同的权重，里的越近权重越大。（增大了计算量）

（3）岭回归和逐步线性回归

        当数据的特征比样本点还多时，需要应用岭回归。就是在上加一个从而使得矩阵非奇异，从而能够进行求逆操作。由于单位矩阵I贯穿整个对角线，其余部分为0，因此称为岭回归。通过来限制并减少不必要的参数的方法称为缩减。

（4）回归树-CART

        CART每次把数据分为两部分，分别进入左右子树，因此它只能说一个二叉树，也可以看成是分段线性回归

（5）SVM支持向量回归

        也是从训练集中选取一部分数据作为支持向量，不过不是提供类别，而是具体数值。

（6）K近邻回归

（7）回归问题的评估

        1、平均绝对误差

                每个结果与输出结果的差的绝对值求和后的均值

        2、 均方误差

                每个值与输出值的差的平方求和后的均值

        3、 R-score

                R^2 = 1-SSres/SStot

                    SSres 代表回归值与真实值平方差异

                    SStot 数据真实值的方差

            R^2表示模型回归结果的波动可被真实值验证的百分比，也暗示了模型在数值回归方面的能力。