前言

今天开始数据科学方面的学习，学习网址是:https://scikit-learn.org/stable/
由于网址是英文，我自己学习的时候尽量将其翻译为中文，如有翻译错误，联系我修改。写博客的目的是为了在传播知识的过程中共同进步。

1.1. 广义线性模型

下面是一组用于回归的方法，其中目标值假定为特征的线性组合。在数学符号中，假定为预测值

在这整个教程中，我们将指定向量作为系数，其中作为常系数，也是轴上的截距。
如果要使用广义线性模型来分类，可以参见逻辑回归模型。

最小二乘法

线性回归方法使用系数拟合一个线性模型并且减小数据集中的目标数据和使用线性预测模型预测的数据的残差和。数学上来讲，它解决了以下形式的数学问题：

线性回归方法将会使用其拟合方法拟合数组并且将拟合后的系数储存到其成员conf_中

from sklearn import linear_model

reg = linear_model.LinearRegression()

reg.fit([[0, 0], [1, 1], [2, 2]], [0, 1, 2])

LinearRegression(copy_X=True, fit_intercept=True, n_jobs=1, normalize=False)

查阅博客https://blog.csdn.net/li980828298/article/details/51273385了解上述参数的含义
copy_X：默认为True，当为True时，X会被copied,否则X将会被覆写；
fit_intercept：是否有截距；
n_jobs:默认值为1。计算时使用的核数；
normalize:是否将数据归一化；

reg.coef_

array([0.5, 0.5])

对于最小二乘法的系数估计取决于数据（特征）间的独立性。当特征相关且设计矩阵的列具有近似的线性相关性时，设计矩阵接近奇异值，因此，最小二乘估计对于观测目标的随机误差特别敏感，产生较大的方差。例如，在没有实验设计的情况下收集数据，可能会出现这种多重线性的情况。

下面来看一个实例。本实例仅仅使用糖尿病数据集的第一个特征，以此来说明回归工具的二维绘图。在图中，我们可以看到一条线性回归函数尝试绘制的直线，该直线使得数据集中观测到的数值与线性近似预测中预测的数值之间的剩余平方和最小。并且计算了系数、残差平方和方差。

print(__doc__)

import matplotlib.pyplot as plt
import numpy as np
from sklearn import datasets, linear_model
from sklearn.metrics import mean_squared_error, r2_score

diabetes = datasets.load_diabetes()

diabetes_X = diabetes.data[:, np.newaxis, 2]
diabetes_X_train = diabetes_X[:-20]
diabetes_X_test = diabetes_X[-20:]

diabetes_y_train = diabetes.target[:-20]
diabetes_y_test = diabetes.target[-20:]

regr = linear_model.LinearRegression()
regr.fit(diabetes_X_train, diabetes_y_train)
diabetes_y_pred = regr.predict(diabetes_X_test)

print('Coefficients: \n', regr.coef_)
print('Mean squared error: %.2f' % mean_squared_error(diabetes_y_test, diabetes_y_pred))
print('Variance score: %.2f' % r2_score(diabetes_y_test, diabetes_y_pred))

plt.scatter(diabetes_X_test, diabetes_y_test, color='black')
plt.plot(diabetes_X_test, diabetes_y_pred, color='blue', linewidth=3)
plt.xticks(())
plt.yticks(())
plt.show()

Automatically created module for IPython interactive environment
Coefficients: 
 [938.23786125]
Mean squared error: 2548.07
Variance score: 0.47

output_1.png

接下来我们逐步分析以上的代码。

import matplotlib.pyplot as plt
import numpy as np

导入matplotlib.pyplot和numpy并且使用别名plt和np。

from sklearn import datasets, linear_model
from sklearn.metrics import mean_squared_error, r2_score

从软件库中导入会用到的模块。在sklearn中导入datasets数据集和linear_model线性模型。
对于mean_squared_error，顾名思义，是平均几何误差模块.
它的数学表达式为

为了验证这个想法，我们使用以下的一个小例子。从计算结果可知，我们的判断是正确的。

from sklearn.metrics import mean_squared_error
y_true=[1,2,3]
y_pred=[1,2,3]
print( mean_squared_error(y_true, y_pred) )
y_true=[3, -0.5, 2, 7]
y_pred=[2.5, 0.0, 2, 8]
print( mean_squared_error(y_true, y_pred) )

0.0
0.375

从sklearn.metrics中导入mean_squared_error和r2_score。
r2_score是确定系数，它评价了回归模型系数拟合的优度。
它的数学表达式为

同样地，我们可以使用一组数据来验证自己的判断。同样可以验证我们的想法是正确的。

from sklearn.metrics import r2_score
y_true=[3, -0.5, 2, 7]
y_pred=[2.5, 0.0, 2, 8]
print ( r2_score(y_true, y_pred) )

0.9486081370449679

diabetes = datasets.load_diabetes()

导入数据，赋值给diabetes.

diabetes_X = diabetes.data[:, np.newaxis, 2]

我们需要了解np.newaxis的用法，不妨先利用print函数输出diabetes.data和diabetes_X看看。
然后我们使用以下的例子来看其具体的用法

x = np.arange(3)
print(x)
print(x.shape)
y=x[: , np.newaxis]
print(y)
print(y.shape)
z=x[:, np.newaxis, np.newaxis]
print(z)
print(z.shape)
print(diabetes.data.shape)
print(diabetes_X.shape)

[0 1 2]
(3,)
[[0]
 [1]
 [2]]
(3, 1)
[[[0]]

 [[1]]

 [[2]]]
(3, 1, 1)
(442, 10)
(442, 1)

可以看到，diabetes_X就是截取了diabetes.data中的一组数据。具体上来说，就是截取了第三组数据。我们可以使用print函数看一看。

diabetes_X_train = diabetes_X[ :-20]
diabetes_X_test = diabetes_X[-20: ]

使用diabetes_X中后面的20个数据测试，前面的数据作为训练。

diabetes_y_train = diabetes.target[ : -20]
diabetes_y_test = diabetes.target[ -20: ]

同样使用目标值的最后20个数据作为测试，前面的数据作为训练

regr = linear_model.LinearRegression()
regr.fit(diabetes_X_train, diabetes_y_train)

LinearRegression(copy_X=True, fit_intercept=True, n_jobs=1, normalize=False)

diabetes_y_pred = regr.predict(diabetes_X_test)

生成使用生成的回归函数预测的数据值，同样我们可以利用print函数输出diabetes_y_pred看一看数据值

print('Coefficients: \n', regr.coef_)
print('Mean squared error: %.2f' % mean_squared_error(diabetes_y_test, diabetes_y_pred))
print('Variance score: %.2f' % r2_score(diabetes_y_test, diabetes_y_pred))

Coefficients: 
 [938.23786125]
Mean squared error: 2548.07
Variance score: 0.47

分别输出系数、平均几何误差和确定系数值

plt.scatter(diabetes_X_test, diabetes_y_test, color='black')
plt.plot(diabetes_X_test, diabetes_y_pred, color='blue', linewidth=3)
plt.xticks(())
plt.yticks(())
plt.show()

[图片上传失败...(image-8e307b-1558371416035)]

绘制测试数据的散点图和回归直线

最小二乘法的复杂度

最小二乘法是使用分解数据Ｘ来计算的。如果Ｘ是一个大小为（n_samples, n_features）的矩阵，假设时，这种方法的复杂度为