ML-多项式回归

多元线性回归分析 基于数据间存在线性关系的前提假设进行数据的建模和回归分析，但在实际应用场景中很少有能够满足具有强线性关系特点的数据集，更多地是表现出 非线性关系 的数据。多项式回归 方法基于线性回归的处理逻辑提出，主要应用于非线性关系数据的 回归预测任务。

1、算法基本过程

在线性回归中模型中，类如平面直线模型 ，其中就有 为样本特征， 为模型参数。而对于一组满足非线性关系的数据，类如样本输出标记与样本特征满足二次曲线，使用线性回归生成的拟合模型就不如二次曲线的拟合效果好。同样是一个特征的样本，那么这个样本特征 与样本输出标记 的曲线关系可描述为 ：

1.2 多项式与线性关系式的转换

从样本的 一个特征 角度来理解，二次方程 描述了样本的特征 与样本输出标记 之间的非线性关系。但如果将方程中的 视作样本的另一个特征来看( 升维处理 )，为了方便识别换元成 ，一元二次方程此时变成了多元线性方程 ，最后应用线性回归的方法求解多项式的参数，即 多项式回归 的基本过程。 多项式回归 的关键在于为原始数据样本添加新特征（升维），这些新特征来自原始特征的多项式组合，来转换成线性关系式，从而求解多项式参数。

### Prepare datasets
import numpy as np
x = np.random.uniform(-3,3,size = 100).reshape((-1,1))
y = .5 * x ** 2 + 1*x + 2 + np.random.normal(size =(100,1))

### 通过添加特征 x^2 的方式 转换多项式为 多元线性关系式并基于线性回归的方法进行参数求解
X = np.hstack([x**2,x])
from sklearn.linear_model import LinearRegression
lin_reg = LinearRegression()
lin_reg.fit(X,y)
lin_reg.coef_ 

2、scikit-learn 框架下的多项式回归处理流程

• Step.1 基于原始特征构造新特征

### Raw datasets
import numpy as np
x = np.random.uniform(-3,3,size = 100).reshape((-1,1))
y = .5 * x ** 2 + 1*x + 2 + np.random.normal(size =(100,1))
### PolynomialFeatures 特征构造
from sklearn.preprocessing import PolynomialFeatures 
poly = PolynomialFeatures(degree=2) ### 构造最高二次幂的新特征
poly.fit(x)
X = poly.transform(x) ### 返回添加了构造特征的特征矩阵，分别是 (x^0,x^1,X^2构造特征列

原始特征数目与构造特征的数目关系
(1) 原始样本仅包含一个特征，构造最高2次幂的特征将返回的结果。
(2) 原始样本包含两个以上的特征，如包含两个特征，则构造最高2次幂的特征将返回 6 个特征构造结果。

import numpy as np
x = np.arange(1,11).reshape(5,2) ### Raw Features

from sklearn.preprocessing import PolynomialFeatures ### 特征构造
poly = PolynomialFeatures(degree=2) ### 构造二次幂样本特征
poly.fit(x)
poly.transform(x)   ### PolynomialFeatures

(3) 基于 2个初始特征构造最高 3 次幂的新特征， 将产生十种组合特征：



在构造特征的时候，阶数越高，模型的参数发生指数级增长，意味模型复杂度越高。

• Step.2 基于添加了构造特征的数据进行线性回归

from sklearn.linear_model import LinearRegression
lin_reg = LinearRegression()
lin_reg.fit(X,y)
lin_reg.coef_ 

2.2 使用scikit-learn 的Pipline 流程处理多步骤的分析任务

### Prepare datasets
import numpy as np
x = np.random.uniform(-3,3,size = 100).reshape((-1,1))
y = .5 * x ** 2 + 1*x + 2 + np.random.normal(size =(100,1))

### make pipline
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
poly_reg = Pipeline([
    ("poly",PolynomialFeatures(degree=2)), ### 格式为 管道名，当前管道需执行的函数
    ("std_scaler",StandardScaler()),
    ("lin_reg",LinearRegression())
])

### use pipline to predict
poly_reg.fit(x,y)
poly_reg.predict(x)