岭回归、前向逐步回归

线性回归的局限性

线性回归是利用已有观测样本的自变量和因变量之间的线性关系，建立回归方程。

通常采用最小二乘法求解，。

公式中包含，也就是需要对矩阵求逆，因此这个方程只在逆矩阵存在时适用。

如果特征比样本点还多（），也就是说输入数据的矩阵不是满秩矩阵。非满秩矩阵求逆时会出现问题。

为了解决这个问题，统计学家引入了岭回归（ridge regression）的概念，本文将介绍的第一种缩减方法。

岭回归

简单来说，岭回归就是在矩阵上加一个，从而使得矩阵非奇异（矩阵可逆），其中矩阵是一个mxm的单位矩阵，对角线上元素全为1，其它元素全为0。回归系数的计算公式将变成：

通过引入惩罚项，能够减少不重要的参数，这个技术在统计学中也叫做缩减（shrinkage）。

import numpy as np

def loadDataSet(fileName):      
    numFeat = len(open(fileName).readline().split('\t')) - 1
    dataMat = []; labelMat = []
    fr = open(fileName)
    for line in fr.readlines():
        lineArr =[]
        curLine = line.strip().split('\t')
        for i in range(numFeat):
            lineArr.append(float(curLine[I]))
        dataMat.append(lineArr)
        labelMat.append(float(curLine[-1]))
    return dataMat,labelMat

# 计算回归系数
def ridgeRegres(xMat, yMat, lam = 0.2):
    xTx = xMat.T * xMat
    demon = xTx + np.eye(xMat.shape[1]) * lam
    if np.linalg.det(demon) == 0:
        print('矩阵无法求逆')
        return
    ws = demon.I * (xMat.T * yMat)
    return ws

def ridgeTest(xArr, yArr):
    xMat = np.mat(xArr)
    yMat = np.mat(yArr).T
    # 数据标准化
    ymean = np.mean(yMat, 0)
    yMat = yMat - ymean
    xMean = np.mean(xMat, 0)
    xVar = np.var(xMat, 0)
    xMat = (xMat - xMean)/xVar

    numTest = 30
    wMat = np.zeros((numTest, xMat.shape[1]))
    for i in range(numTest):
        ws = ridgeRegres(xMat, yMat, np.exp(i-10))
        wMat[i,:] = ws.T
    return wMat

ridgeRegres()函数用于计算回归系数，ridgeTest()函数在一组上测试结果。

abX, abY = loadDataSet('abalone.txt')
ridgeWeights = ridgeTest(abX, abY)

import matplotlib.pyplot as plt

fig = plt.figure()
ax = fig.add_subplot(111)
ax.plot(ridgeWeights)
plt.xlabel('log(lambda)')
plt.show()

上图绘出了回归系数与的关系。在较小时，可以得到所有系数的原始值；而在最右边，达到一个很大的值，所有系数缩减为0。在中间部分的某值将可以取得最好的预测效果。需要进行交叉验证来找到最佳参数值。

还有一些其他缩减方法，如lasso、LAR、PCA回归以及子集选择等。

前向逐步回归

前向逐步回归算法，属于一种贪心算法，即每一步都尽可能减少误差。算法伪代码如下。

数据标准化，使其分布满足0均值和单位方差
每次迭代：
    设置当前最小误差lowestError为正无穷
    对每个特征：
        增大或缩小：
            改变一个系数得到一个新的W
            计算新W下的误差
            如果误差Error小于lowestError：
                设置WBest等于当前W
    将W设置为新的WBest

实际代码如下。

# 计算残差平方和
def rssError(yArr,yHatArr): 
    return ((yArr-yHatArr)**2).sum()

# 标准化数据
def regularize(xMat, axis = 0):
    inMat = xMat.copy()
    inMeans = np.mean(inMat, axis)   
    inVar = np.var(inMat, axis)     
    inMat = (inMat - inMeans)/inVar
    return inMat

# 前向逐步回归
def stageWise(xArr, yArr, eps = 0.01, maxIter = 100):
    '''
    xArr：输入数据
    yArr预测变量
    eps：需要调整的步长
    maxIter：最大迭代次数
    '''
    xMat = np.mat(xArr)
    yMat = np.mat(yArr).T
    yMean = np.mean(yMat, 0)
    yMat = yMat - yMean
    xMat = regularize(xMat)
    m,n = xMat.shape
    returnMat = np.zeros((maxIter, n))
    ws = np.zeros((n, 1))
    wsTest = ws.copy()
    wsMax = ws.copy()
    for i in range(maxIter):
        lowestError = np.inf
        for j in range(n):
            for sign in [-1, 1]:
                wsTest = ws.copy()
                wsTest[j] += eps*sign
                yTest = xMat * wsTest
                rssE = rssError(yMat.A, yTest.A)
                if rssE < lowestError:
                    lowestError = rssE
                    wsMax = wsTest
        ws = wsMax.copy()
        returnMat[i, :] = ws.T
    return returnMat

下面看下实际效果。

ws = stageWise(abX, abY, 0.005, 1000)

fig = plt.figure()
ax = fig.add_subplot(111)
ax.plot(ws)
plt.show()

逐步线性回归算法可以找出重要的特征，这样就可能及时停止对那些不重要特征的收集。

当应用缩减方法（如逐步线性回归或岭回归）时，模型就增加了偏差（bias），与此同时，减小了模型的方差。