一. 岭回归
1.1 什么是岭回归
岭回归是专门用于共线性数据分析的有偏估计的回归方法,实际上是一种改良的最小二乘法,但它放弃了最小二乘的无偏性,损失部分信息,放弃部分精确度为代价来寻求效果稍差但更符合实际的回归方程。
此处介绍下岭回归的回归系数公式,B(k)=(X’X+kI)-1X’Y作为回归系数的估计值,此值比最小二乘估计稳定。称B(k)为回归系数的岭估计。显然,当k=0时,则B(k)就成为了最小二乘估计;而当k→∞时,B(k)就趋于0。因此,k值不宜太大,我们要让k值小些。
![](https://img.haomeiwen.com/i2638478/6c68d48fa5aa0b23.png)
1.2 岭迹图
当不存在奇异性时,岭迹应是稳定地逐渐趋向于0
通过岭迹图观察岭估计的情况,可以判断出应该剔除哪些变量
![](https://img.haomeiwen.com/i2638478/1f0617d8acb16406.png)
1.3 岭回归估计的性质
![](https://img.haomeiwen.com/i2638478/2cbf91f818c14813.png)
![](https://img.haomeiwen.com/i2638478/5ba1d87513340ab3.png)
![](https://img.haomeiwen.com/i2638478/809a28ad7a24f8b8.png)
![](https://img.haomeiwen.com/i2638478/3251ef14789fd567.png)
1.4 岭迹分析
![](https://img.haomeiwen.com/i2638478/69e1773300756c55.png)
1.5 岭参数的一般选择原则
选择k(或lambda)值,使到
(1)各回归系数的岭估计基本稳定;
(2)用最小二乘估计时符号不合理的回归系数,其岭估计的符号变得合理;
(3)回归系数没有不合乎实际意义的绝对值;
(4)残差平方和增大不太多。
![](https://img.haomeiwen.com/i2638478/05af4e220c485705.png)
1.6 方差扩大因子法
![](https://img.haomeiwen.com/i2638478/5c507e21d58dfe53.png)
1.7 用R语言进行岭回归
代码:
library(MASS)
longley
summary(fm1 <- lm(Employed ~ ., data = longley))
names(longley)[1] <- "y"
lm.ridge(y ~ ., longley)
plot(lm.ridge(y ~ ., longley, lambda = seq(0,0.1,0.001)))
select(lm.ridge(y ~ ., longley, lambda = seq(0,0.1,0.001)))
![](https://img.haomeiwen.com/i2638478/40b5be8245367245.png)
二. Lasso
1.1 Lasso概述
岭回归存在的问题:
- 岭参数计算方法太多,差异太大
- 根据岭迹图进行变量筛选,随意性太大
- 岭回归返回癿模型(如果没有经过变量筛选)包含所有癿变量
LASSO
-
Tibshirani(1996)提出了Lasso(The Least Absolute Shrinkage and Selectionatoroperator)算法
-
通过构造一个一阶惩罚函数获得一个精炼癿模型;通过最终确定一些指标(变量)癿系数为零(岭回归估计系数等于0癿机会微乎其微,造成筛选变量困难),解释力很强
-
擅长处理具有多重共线性癿数据,不岭回归一样是有偏估计
1.2 为什么LASSO能直接筛选变量
![](https://img.haomeiwen.com/i2638478/0efee3d2b8014367.png)
1.3 LASSO vs岭回归
![](https://img.haomeiwen.com/i2638478/f2ee949882b35898.png)
![](https://img.haomeiwen.com/i2638478/8aff114fb3c87a37.png)
1.4 更一般化的模型
![](https://img.haomeiwen.com/i2638478/62f03f9dd3e68976.png)
![](https://img.haomeiwen.com/i2638478/f825c8ee59eef162.png)
1.5 弹性网
Zouand Hastie (2005)提出elasticnet
![](https://img.haomeiwen.com/i2638478/8527baa66be4633a.png)
![](https://img.haomeiwen.com/i2638478/91a8dba1a97c932c.png)
网友评论