Python机器学习基础教程学习笔记（5）——线性模型（回归）

import numpy as np
import matplotlib.pyplot as plt
import pandas as pd
import mglearn

1 线性回归处理wave数据集

1.1 wave数据集

mglearn.plots.plot_linear_regression_wave()

w[0]: 0.393906  b: -0.031804

output_3_1

1.2 线性回归

• 线性回归，或者普通最小二乘法（ordinary least squairs ,OLS），回归总是最简单也是最经典的线性方法
• 寻找参数w和b，使得对训练集的预测值与真实的回归目标值y之间的均方误差（预测值与真实值之差的平方各除以样本数）最小。
• 没有参数，但无法控制模型的复杂度

from sklearn.linear_model import LinearRegression
X,y = mglearn.datasets.make_wave(n_samples=60)
from sklearn.model_selection import train_test_split
X_train,X_test,y_train,y_test = train_test_split(X,y,random_state=42)

lr = LinearRegression().fit(X_train,y_train)

# "斜率"参数（w,也叫做权重或系统），被保存到coef_属性中
print("lr.coef_:{}".format(lr.coef_))
# 偏移或者截距（b），被保存到intercept_属性中
print("lr.intercept_:{}".format(lr.intercept_))

lr.coef_:[0.39390555]
lr.intercept_:-0.031804343026759746

print("Train set score:{:.2f}".format(lr.score(X_train,y_train)))
print("Test set score:{:.2f}".format(lr.score(X_test,y_test)))

Train set score:0.67
Test set score:0.66

• R^2分数约为0.66，结果不是很好
• 训练集和测试集的分数非常接近，可能存在欠拟合
• 一维数据来说，过拟合的风险很小，因为模型非常简单（或受限）
• 高维数据来说，线性模型变得更加强大，过拟合的可能性也会变大

2 线性回归处理波士顿房价数据集

2.1 波士顿房价数据集

from sklearn.datasets import load_boston
boston = load_boston()

# boston是Bunch类型数据
print("boston.keys :{}".format(boston.keys()))

boston.keys :dict_keys(['data', 'target', 'feature_names', 'DESCR', 'filename'])

# 数据集包括506个数据点，13个特征
print("data shape :{}".format(boston.data.shape))

data shape :(506, 13)

扩展数据集：

• 输入特征不仅包括这13个测量结果
• 还包括这些特征的乘积（也叫交互项）
• 像这样包含导出特征的方法叫作特征工程（feature engineering）

# 通过load_extended_boston函数加载导出的数据集
X,y = mglearn.datasets.load_extended_boston()
# 最初的13个特征加上这13个特征两两组合（有放回）得到的91个特征，一共有104个特征
print("X.shape:{}".format(X.shape))

X.shape:(506, 104)

2.2 用线性回归处理

X_train,X_test,y_train,y_test = train_test_split(X,y,random_state=0)
lr = LinearRegression().fit(X_train,y_train)

print("Train set score:{:.2f}".format(lr.score(X_train,y_train)))
print("Test set score:{:.2f}".format(lr.score(X_test,y_test)))

Train set score:0.95
Test set score:0.61

• 训练集和测试集之间的性能差异是过拟合（训练集0.95，测试集0.61）的明显标志
• 线性回归没有参数，不可以控制模型复杂度。

3 岭回归（Ridge regression）

• 一种用于回归的线性模型
• 预测公式与普通最小二乘法相同
• 对系数(w)的选择不仅要在训练集数据上得到好的预测结果
• 还要拟合附加约束
• 系统尽可能小——w的所有元素都应接近于0
• 意味着，每个特征对输出的影响应尽可能小（即斜率很小），同时仍给出很好的预测结果 。这种约束是所谓的正则化的一个例子
• 正则化是指对模型做的显示约束，以避免过拟合
• 岭回归用的是L2正则化

from sklearn.linear_model import Ridge
ridge = Ridge().fit(X_train,y_train)

print("Train set score:{:.2f}".format(ridge.score(X_train,y_train)))
print("Test set score:{:.2f}".format(ridge.score(X_test,y_test)))

Train set score:0.89
Test set score:0.75

• ridge的训练集分数0.89低于linear的训练集分数0.95

• ridge的测试集分数0.75高于linear的训练集分数0.61

• linear过拟合

• rigde约束性更强，更不容易过拟合

• riged复杂度更小，在训练集性能更差，泛化性能更好

• 我们对泛化性能感兴趣，应选择ridge，而不选择linear

• ridge在模型的简单性（系数都接近于0）与训练集之间做出权衡

• 通过alpha参数来指定

• 默认alpha=0

• alpha的最佳设定值取决于用到的具体的数据集

• alpha越大，模型约束性越强，系数越趋向于0，训练集性能越低，泛化能力越强

• alpha非常小，系数几乎没有限制，结果与linear类似

ridge10=Ridge(alpha=10).fit(X_train,y_train)

print("Train set score:{:.2f}".format(ridge10.score(X_train,y_train)))
print("Test set score:{:.2f}".format(ridge10.score(X_test,y_test)))

Train set score:0.79
Test set score:0.64

ridge01=Ridge(alpha=0.1).fit(X_train,y_train)

print("Train set score:{:.2f}".format(ridge01.score(X_train,y_train)))
print("Test set score:{:.2f}".format(ridge01.score(X_test,y_test)))

Train set score:0.93
Test set score:0.77

ridge0001=Ridge(alpha=0.001).fit(X_train,y_train)

print("Train set score:{:.2f}".format(ridge0001.score(X_train,y_train)))
print("Test set score:{:.2f}".format(ridge0001.score(X_test,y_test)))

Train set score:0.95
Test set score:0.63

# 约束越强，y值越趋向于0
# 约束强
plt.plot(ridge10.coef_,"^",label="alpha=10")
# 约束中
plt.plot(ridge.coef_,"s",label="alpha=1")
# 约束弱
plt.plot(ridge01.coef_,"v",label="alpha=0.1")
# 无约束
plt.plot(lr.coef_,"o",label="linear")

plt.xlabel("Coefficient index")
plt.ylabel("Coefficient magnitude")
plt.hlines(0,0,len(lr.coef_))
plt.ylim(-25,25)
plt.legend()
plt.show()

output_31_0

• 固定alpha的值，改变训练集数据量
• 将模型性能作为数据集大小的函数进行绘图，这样的图像叫作学习曲线

mglearn.plots.plot_ridge_n_samples()

output_33_0.png

• 训练集分数高于测试集分数
• ridge训练集分数低于linear训练集分数
• ridge测试集分数高于linear测试集分数
• 数据越多，性能越好
• 如果数据量足够多，正则化不再重要，rideg与linear会得到同样的性能
• 数据越多，linear将更加难以过拟合或记住所有的数据

4 lasso

• 约束系数使其接近于0
• 使用L1正则化
• 使某些系数刚好为0，说明某些特征被模型完全忽略，更容易解释，呈现模型最重要的特征
• 自动化特征选择

from sklearn.linear_model import Lasso

lasso = Lasso().fit(X_train,y_train)
print("Train set score:{:.2f}".format(lasso.score(X_train,y_train)))
print("Test set score:{:.2f}".format(lasso.score(X_test,y_test)))
print("Number of features used:{}".format(np.sum(lasso.coef_!=0)))

Train set score:0.29
Test set score:0.21
Number of features used:4

• 训练集和测试集的性能都很差，欠拟合
• 只用到了104个特征中的4个
• 正则化参数alpha，默认是1
• 为降低欠拟合，尝试减小alpha，同时增加max_iter
• alpha越小，模型越复杂，越不容易欠拟合
• alpha极小，结果与linear类似

lasso001 = Lasso(alpha=0.01,max_iter=100000).fit(X_train,y_train)
print("Train set score:{:.2f}".format(lasso001.score(X_train,y_train)))
print("Test set score:{:.2f}".format(lasso001.score(X_test,y_test)))
# 模型用了33个特征，性能好了些
print("Number of features used:{}".format(np.sum(lasso001.coef_!=0)))

Train set score:0.90
Test set score:0.77
Number of features used:33

lasso00001 = Lasso(alpha=0.0001,max_iter=100000).fit(X_train,y_train)
print("Train set score:{:.2f}".format(lasso00001.score(X_train,y_train)))
print("Test set score:{:.2f}".format(lasso00001.score(X_test,y_test)))
# 模型用了96个特征，类似linear，过拟合
print("Number of features used:{}".format(np.sum(lasso00001.coef_!=0)))

Train set score:0.95
Test set score:0.64
Number of features used:96

plt.plot(lasso.coef_, 's', label="Lasso alpha=1")
plt.plot(lasso001.coef_, '^', label="Lasso alpha=0.01")
plt.plot(lasso00001.coef_, 'v', label="Lasso alpha=0.0001")

plt.plot(ridge01.coef_, 'o', label="Ridge alpha=0.1")
plt.legend(ncol=2, loc=(0, 1.05))
plt.ylim(-25, 25)
plt.xlabel("Coefficient index")
plt.ylabel("Coefficient magnitude")
plt.show()

output_41_0.png

• alpha=1,只用到了104个特征中的4个，大部分系数都为0，而且系数比较小
• alpha=0.01，用了33个特征
• alpha=0.0001，用了96个特征，大不分系数不为0，而且系数比较大
• ridge(alpha=0.1)性能与lasso(alpha=0.01)性能类似，但是ridge的所有系数都不为0

实践中：

• 首先ridge
• 特征多，认为只有其中几个是重要的，选择lasso
• 想更容易解释，选择lasso
• scikit-learn提供了ElasticNet,结合了ridge和lasso的惩罚项，效果最好，需要调节l1正则化参数和l2正则化参数，共2个参数