线性回归

优点：建模迅速，对于小数据量、简单的关系很有效；易理解。

缺点：不能处理非线性；不能处理数据特征间具有相关性的多项式回归；难以表达高度复杂的数据。

岭回归

算法流程

平方误差 $e=\sum\nolimits_{1}^n (y_{i}-X_{i}A)^2$

矩阵形式 $E=(Y-XA)(Y-XA)^{T}$

对A求导：

最小二乘法

由于样本数量n约等于特征数量p时，易过拟合。

岭回归在平房误差基础上增加正则项，通过确定 $\lambda$ 的值来平衡偏差和方差。

新的误差公式

注：I为对角矩阵

优点：可以解决特征数量>样本量多的过拟合问题；可以判断特征的重要程度；增加偏差的同时减小方差。

缺点：它缩小了系数的值，但没有达到零，这表明没有特征选择功能。

适用：用于过拟合严重或各变量之间存在多重共线性的情况。

LASSO回归

与岭回归的正则项不同

L1正则

优点：L1范数倾向于产生稀疏系数，能起到“降维”的作用；比Ridge效率高

回归算法对比
线性回归优点：建模迅速，对于小数据量、简单的关系很有效；易理解。缺点：不能处理非线性；不能处理数据特征间具有相...
「数据分类」14决策树分类之CART算法
1.CART算法与ID3算法对比（1）CART算法解决了ID3算法的不足，既能用于分类问题，又能用于回归问题。 ...
回归算法学习
回归算法是机器学习中的经典算法之一，本文是对学习线性回归和逻辑回归算法进行的总结，线性回归与逻辑回归算法解决的分别...
机器学习-线性回归、广义线性模型（逻辑回归）
1、前言线性回归在整个机器学习算法中相对比较简单，但是在处理实际问题中，使用频率还是比较高。本文将对线性回归...
机器学习算法总结
回归算法线性回归算法：支持向量机&向前逐步回归&惩罚线性回归（岭回归/套索回归/ElasticNet/最小角度...
逻辑回归算法简介
逻辑回归算法：虽然名字中带有回归两个字，但它却不是回归算法，它是一个经典的二分类算法。回归与分类的区别：回归：可...
《机器学习实战》读书笔记8
线性回归算法概述前面的2~7章节讲解的是“分类”算法，本章开始将介绍“回归”算法。 “回归”和“分类”都属于监督...
ML03-逻辑回归（下部分）
本文主题-逻辑回归（下部分）：逻辑回归的应用背景逻辑回归的数学基础逻辑回归的模型与推导逻辑回归算法推导梯度下降算法...
ML02-逻辑回归（上部分）
本文主题-逻辑回归（上部分）：逻辑回归的应用背景逻辑回归的数学基础逻辑回归的模型与推导逻辑回归算法推导梯度下降算法...
逻辑回归
逻辑回归是一种解决分类问题的机器学习算法。逻辑回归可以视为回归算法也可以视为分类算法，但通常用于分类，#####...