机器学习入门-回归分析

机器学习

• 监督学习
  • 回归分析
  • 分类问题
• 非监督学习
  • 分组问题
  • 降低维度

一元线性回归

% pylab inline
import pandas
df = pandas.read_csv('Data/salary.csv',index_col=0) # 使用数据
from matplotlib import pyplot as plt
X= df[['year']]   # type(X) DataFrame
Y = df['salary'].values # type(Y) numpy.ndarray
plt.scatter(X,Y,color='black') #X,Y 散点图
plt.xlabel('year') # 横轴标签
plt.ylabel('salary') #纵轴标签
from sklearn.linear_model import LinearRegression  #引入线性回归模型
regr = LinearRegression()  # 回归模型实例
regr.fit(X,Y) 
regr.coef_ # 回归线斜率
regr.intercept_ # 回归线截距
regr.predict() # 回归模型预测
plt.plot(X,regr.predict(X),linewidth=3,color='blue') # 图上添加回归线

一元线性回归

多项式回归

% pylab inline
import pandas
df = pandas.read_csv('Data/salary.csv',index_col=0) # 使用数据
from matplotlib import pyplot as plt
X= df[['year']]   # type(X) DataFrame
Y = df['salary'].values # type(Y) numpy.ndarray
plt.scatter(X,Y,color='black') #X,Y 散点图
plt.xlabel('year') # 横轴标签
plt.ylabel('salary') #纵轴标签
from sklearn.preprocessing import PolynomialFeatures #引入多项式转换
from sklearn.linear_model import LinearRegression # 引入线性回归模型
poly_reg = PolynomialFeatures(degree = 2) #设置为二项式转换
X_ = poly_reg.fit_transform(X) # 转换X
regr=LinearRegression()
regr.fit(X_,Y)
plt.scatter(X,Y,color='black') 
plt.plot(X,regr.predict(X_),linewidth=3,color='blue') # 画回归线

因为X没有排序，画出来的图是这样的。。。

错误示范

X2= X.sort_values(['year']) #对X按year排序
X2_ = poly_reg.fit_transform(X2) #排序后的X二项式转换
plt.scatter(X,Y,color='black')
plt.plot(X2,regr.predict(X2_),linewidth=3,color='blue')
plt.xlabel('year')
plt.ylabel('salary')

多项式回归

多元线性回归

import pandas 
df=  pandas.read_csv('../Data/house-prices.csv')
df = pandas.concat([df,pandas.get_dummies(df['Brick']),pandas.get_dummies(df['Neighborhood'])],axis=1)
# 数据整理，用pandas.get_dummies函数将非数值型变量变为数值型变量
del df['Home'],df['Brick'],df['Neighborhood'],df['No'],df['West']
# 删除无关数据，和get_dummies时生成的多余数据
from sklearn.linear_model import LinearRegression
regr = LinearRegression()
X = df[['SqFt','Bedrooms','Bathrooms','Offers','Yes','East','North']]
Y = df['Price'].values
regr.fit(X,Y)
regr.coef_ # 回归系数
regr.intercept_ # 回归截距
regr.predict(X) # 回归模型预测

回归模型评估

import statsmodels.api as sm
X2=sm.add_constant(X)
est = sm.OLS(Y,X2)
est2 = est.fit()
print(est2.summary())

得到以下结果

1、线性关系显著性检验
H0：β=0，H1：β≠0，检验方法：t检验，显著性水平假设为0.01
结果中变量的P>|t| 均小于0.01，原假设不成立，变量与应变量间关系显著
2、检验多元回归模型
H0:β1=β2=β3=β4=β5...=0,H1:at least one βk≠0，检验方法：F检验，显著性水平假设为0.01
结果中Prob (F-statistic): 8.25e-50 小于0.01，原假设不成立，多元回归模型成立
3、模型拟合度检验
R-squared: 0.869
Adj. R-squared: 0.861 根据自变量数量修正后的R方，自变量数量越多，修正后R方越小
R-squared越大，模型拟合越好。
4、过度拟合检验
AIC(赤池信息量)
选择由不同自变量组合对应的最小AIC对应自变量组合作为模型选取的自变量

predictorcol = list(X.columns)  #自变量列表
import itertools
AICs = {}
for k in range(1,len(predictorcol)+1):  
    for variables in itertools.combinations(predictorcol,k): # 所有自变量组合
        predictors = X[list(variables)]
        predictors2 = sm.add_constant(predictors)
        est = sm.OLS(Y,predictors2)
        est2 = est.fit()
        AICs[variables] = est2.aic # 计算自变量组合的AIC值，存入词典
# 显示AIC最小的10个组合
from collections import Counter
c = Counter(AICs)
c.most_common()[::-10]