理论
- 线性回归算法用于解决回归问题，而前述的knn算法用于解决分类问题
- 目的是寻找一条直线，最大程度上拟合样本特征和样本输出标记之间的关系
-
样本特征只有一个时称为简单线性回归，样本特征具有多个时称为多元线性回归
简单线性回归
- 目的在于，找到拟合程度最好的那个a,b
使得预测值和样本值的差别尽可能小 -
损失函数尽可能小
损失函数
-
这是一个典型的最小二乘法问题
ab其结果如图
最小化误差的平方
简单的实现
首先我们传入一组特征还算明显的数据
import numpy as np
import matplotlib.pyplot as plt
x=np.array([1.,2.,3.,4.,5.])
y=np.array([1.,3.,2.,3.,5.])
我们先绘图观察
plt.scatter(x,y)
plt.axis([0,6,0,6])
原始数据
进行最小二乘法求出ab的过程
x_mean=np.mean(x)
y_mean=np.mean(y)
num=0.0
d=0.0
for x_i,y_i in zip(x,y):
num+=(x_i-x_mean)*(y_i-y_mean)#分子
d+=(x_i-x_mean)**2#分母
a=num/d
b=y_mean-a*x_mean
y_hat=a*x+b
这时分别将散点图和预测直线画出
plt.scatter(x,y)
plt.plot(x,y_hat,color='r')
plt.axis([0,6,0,6])
拟合图
这样一个简单的简单线性回归程序基本完成了！
向量化
上面的算法实现有一个很明显的问题，便是使用了for循环计算a值，效率较低
实际上，吴恩达的ML教程中直接选用了向量化运算，完全没有考虑for循环的实现，因为向量化运算实现显然要更加高效一些。
-
我们观察到
a的表达式
分子分母都可以视为向量相乘
（注意到这里因为是简单线性回归，每个w（i）其实只是单个的值，实际上这也是简单线性回归便于理解的地方）
分解过程
于是对上述程序中a的计算过程进行如下改动
a=(x_train - x_mean).dot(y_train - y_mean) / (x_train - x_mean).dot(x_train - x_mean)
算法的评价
和knn算法相同的，我们也需要去评价我们的模型效率如何。
-
均方误差MSE
均方误差
-
均方根误差RMSE
均方根误差
-
平均绝对误差MAE
平均绝对误差
-
Rsquared： 最好的衡量线性回归法的指标
Rsquared
和knn类似的，下面以一个实例来说明（这时我们便需要采用sklearn的官方数据集了）
import numpy as np
import matplotlib.pyplot as plt
from sklearn import datasets
boston=datasets.load_boston()
#波士顿房产数据
#print(boston.DESCR)可以获取详细信息
#由于是简单线性回归，故只取一个特征
x=boston.data[:,5]#房间数量
y=boston.target
这里我们观察一下数据的个数以及在散点图上的分布
数据个数
数据分布
我们注意到有一些点处于表格上面或者右边，这是一些最值点，为了线性回归的准确性我们应该将其删掉
x=x[y<np.max(y)]
y=y[y<np.max(y)]
plt.scatter(x,y)
处理后的原始数据
我们开始数据处理
from sklearn.model_selection import train_test_split
x_train,x_test,y_train,y_test=train_test_split(x,y,test_size=0.2,random_state=6)
#实际上这里size默认是0.2
这时
新的训练集
下面开始训练简单线性回归的模型
x_mean=np.mean(x_train)
y_mean=np.mean(y_train)
a=(x_train - x_mean).dot(y_train - y_mean) / (x_train - x_mean).dot(x_train - x_mean)
b=y_mean-a*x_mean
y_hat=a*x_train+b
a，b值
在散点图上绘制出来
结果
下面开始进行模型的评价
y_predict=a*x_test+b
mse_test=np.sum((y_predict-y_test)**2)/len(y_test)
from math import sqrt
rmse_test=sqrt(mse_test)
mae_test=np.sum(np.absolute(y_predict-y_test))/len(y_test)
mse_test/np.var(y_test)#Rsquared值
#sklearn中也有直接计算Rsquared值的函数，
#from sklearn.metrics import r2_score
#r2_score(y_test,y_predicted)
RMSE
MAE
-
为何MAE的值要比RMSE值要小呢？
公式比较
不难看出，分母里m值是否开更号，导致了这一结果！
总结
简单线性回归到这里内容基本上已经结束了，其数学知识需求也是比较小的，所以适合用作回归的最先学习算法，后面如果还会有其他需要补充的点我也会再加进来！
多希望能早日回去学校啊，虽然在家码一下博客也确实可以打发打发时间，不过想到去年这时候正在武大吐槽着人比樱花多，等个烧烤等到半夜，眼前的事情顿时就不香了。
网友评论