美文网首页
ML-多元线性回归的正规方程解

ML-多元线性回归的正规方程解

作者: 倪桦 | 来源:发表于2023-01-26 01:34 被阅读0次

简单线性回归刻画的是样本的 1维特征与样本输出标记之间的关系;对于样本的多特征,刻画多特征与输出标记之间的多元线性关系描述为y = \theta_{0} + \theta_{1}x_{1} + \theta_{2}x_{2}... + \theta_{n}x_{n}

1、多元线性回归的目标函数

求解多元线性回归的目标函数同简单线性回归一样,使预测结果与真实结果的误差尽可能小:
\sum^{m}_{i} {(\hat y^{(i)} - y^{(i)})^{2}}
\hat y^{(i)} = \theta_{0}x_{0}^{(i)} + \theta_{1}x_{1}^{(i)} ... + \theta_{n}x_{n}^{(i)},x_{0}^{(i)} = 1

\theta = (\theta_{0} ,\theta_{1} ,... ,\theta_{n} )^{T},X^{(i)}= (x_{0}^{(i)},x_{1}^{(i)},...,x_{n}^{(i)})
\hat y^{(i)} = \theta \cdot X^{i}
推广到多样本形式
X_{b} = \begin{bmatrix} 1&x_1^{(1)}&x_2^{(1)}&...&x_n^{(1)} \\ 1&x_1^{(2)}&x_2^{(2)}&...&x_n^{(2)} \\ ... \\ 1&x_1^{(m)}&x_2^{(m)}&...&x_n^{(m)} \end{bmatrix}, \theta = \begin{bmatrix} \theta_{0} \\ \theta_{1} \\ ... \\ \theta_{n}\end{bmatrix}
\theta里,\theta_{0}对应回归关系式中的截距(intercept)或者说偏移,与样本特征无关;\theta_{1}...\theta_{n}是系数(coefficients),它们描述的是特征对样本输出标记的贡献程度。

\therefore \hat y = X_{b} \cdot \theta

带入\hat y,目标函数写为\sum^{m}_{i} {(\hat y^{(i)} - y^{(i)})^{2}} = (y - X_b\cdot\theta)^{T} (y - X_b\cdot\theta)

2、多元线性回归的数学解

2.1 正规方程解的数学表达式

通过使得目标函数(y - X_b\cdot\theta)^{T} (y - X_b\cdot\theta)尽可能得小来求解\theta,求解方法同简单线性回归一样使用最小二乘法,对函数中的每个\theta _{i}求偏导。由于运算对象从单个数变成了矩阵, 在矩阵上求导求极值的推导过程有点复杂(涉及线代以外的知识)。
多元线性回归的正规方程解(Normal Equation)
\theta = (X_{b}^{T}X_{b})^{-1}X_{b}^{T}y
缺点:正规方程解的时间复杂度高:O(n^3),其中n不区分高维矩阵的行数或列数。
优点:不需要对数据进行归一化处理,最后的\theta就是原始数据的方程运算结果。

2.2 python实现

class LinearRegression:
    def __init__(self):
        """初始化Linear Regression 模型"""
        self.coef_ = None
        self.interception_ = None
        self._theta = None
    def fit(self,x_train,y_train):
        """根据训练集x_train,y_train训练Linear Regression 模型"""
        assert x_train.shape[0] == y_train.shape[0], "the size of x_train must be equal to the size of y_train"
        
        X_b = np.hstack([np.ones((len(x_train),1)),x_train])
        self._theta = np.linalg.inv(X_b.T.dot(X_b)).dot(X_b.T).dot(y_train);
        self.interception_ = self._theta[0]
        self.coef_ = self._theta[1:]

        return self
    
    def predict(self,x_predict):
        """给定待预测数据集x_predict,返回表示x_predict的结果向量"""
        assert self.interception_ is not None and self.coef_ is not None, "must fit before predict!"
        assert x_predict.shape[1] == len(self.coef_)," the feature number of x_predict must be equal to x_train"
        
        X_b = np.hstack([np.ones((len(x_predict),1)),x_predict])
        return X_b.dot(self._theta)
    
    def __repr__(self):
        return "LinearRegression()"
  

### 算法测试
### prepare data
from sklearn import datasets
boston = datasets.load_boston()
x = boston.data[ boston.target < 50 ]
y = boston.target[boston.target < 50]
from sklearn.model_selection import train_test_split
Train_X,Test_X,Train_Y,Test_Y = train_test_split(x,y,test_size= 0.2,random_state=666)
    
### test method
reg = LinearRegression()
reg.fit(Train_X,Train_Y)
reg.predict(Test_X)

3、scikit-learn框架下的回归求解

3.1 多元线性回归

from sklearn.linear_model import LinearRegression
lin_reg = LinearRegression()
lin_reg.fit(Train_X,Train_Y)
lin_reg.coef_ ### 系数贡献度
lin_reg.intercept_ ### 关系式偏移
lin_reg.score(Test_X,Test_Y) ### 模型准确度得分

3.2 kNN Regressor

算法背景 ML- kNN(k近邻算法)

from sklearn.neighbors import KNeighborsRegressor
### kNN模型超参数网格搜索
knn_reg = KNeighborsRegressor()
param_grid = [
    {
        'weights':['uniform'],
        'n_neighbors':[i for i in range(1,11)]
    },
    {
        'weights':['distance'],
        'n_neighbors':[i for i in range(1,11)],
        'p':[i for i in range(1,6)]
    }
]
from sklearn.model_selection import GridSearchCV
grid_search = GridSearchCV(knn_reg,param_grid,n_jobs= 6, verbose = 2)
grid_search.fit(Train_X,Train_Y)
print(grid_search.best_estimator_)
### 使用网格搜索得到的最优超参数训练模型
knn_reg = grid_search.best_estimator_
knn_reg.predict(Test_X)
knn_reg.score(Test_X,Test_Y)

4、线性回归的可解释性

对于线性回归的系数(coefficients)来说,特征前面的系数为正意味着该特征与样本的输出标记呈正相关关系,系数为负表明负相关;系数的绝对值大小代表了相关程度。对系数按大小排序,从而用来筛选对样本的输出标记最相关的特征。因此,对于拿到的一组数据,不管数据的输出标记与特征之间有何关系,都可以首先通过线性回归的处理对数据的特征进行一定的了解。

5、线性回归的特点

① 典型的参数学习算法:
② 只能解决回归问题;对比kNN,既可以解决分类问题又能解决回归问题。
③ 对数据有前提假设:线性关系;只有数据集本身具有很强的线性关系,线性回归的结果才能更好(比如kNN也能处理回归,但回归误差就不如线性回归)。
⑤ 最大优点:线性回归是一个白盒子算法,训练出的模型和参数可以解释数据集的内在关联。

相关文章

  • ML-多元线性回归的正规方程解

    简单线性回归刻画的是样本的 1维特征与样本输出标记之间的关系;对于样本的多特征,刻画多特征与输出标记之间的多元线性...

  • 多元线性回归

    概述 之前我们讲了最基本、最简单的一元线性回归算法,本章主要讲解多元线性回归,以及梯度下降、特征缩放和正规方程解等...

  • 梯度下降

    梯度下降法 基于搜索的最优化算法,之前我们使用线性回归时最优的参数都是求正规方程解,但是很多时候求最优方程解时间复...

  • 机器学习系列(十三)——多元线性回归及knn做回归

    多元线性回归理论 相比于样本只有一个特征值的简单线性回归,多元线性回归往往更能反映研究对象的真实情况。多元线性回归...

  • 各类统计方法R语言实现(六)

    今天是各类统计方法R语言实现的第六期,我们主要介绍多元线性回归、回归诊断。 多元线性回归 多元线性回归指的是用多个...

  • 回归分析 | R语言 -- 多元线性回归

    多元线性回归 多元线性回归 是 简单线性回归[https://www.jianshu.com/p/f8b2a320...

  • Matlab一元/多元回归(后续会有更新)

    一元线性回归&一元非线性回归 多元回归/逐步回归 多元回归 先画散点图,看有没有线性性质,再决定能不能用多元线性回...

  • 2020-02-14

    线性回归:线性回归分为一元线性回归和多元线性回归,一元线性回归用一条直线描述数据之间的关系,多元回归是用一条曲线描...

  • 多元线性回归(multiple regression model

    之前学习了单一线性回归,这次主要研究多元线性回归,以及提高多元数据的模型精度的一些方法 1、什么是多元线性回归,我...

  • Linear Regression

    二元线性回归 多元线性回归 其中用到

网友评论

      本文标题:ML-多元线性回归的正规方程解

      本文链接:https://www.haomeiwen.com/subject/hoqdhdtx.html