Python数据挖掘实战2：财政收入影响因素及预测

Reference

《Python数据分析与挖掘实战（第2版）》
第6章，页码：P170，代码略有改进
data.csv数据下载

分析过程

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
import sys
from GM11 import GM11
from sklearn.linear_model import Lasso
from sklearn.svm import LinearSVR
pd.set_option('max_columns',1000)
pd.set_option('max_row',300)
pd.set_option('display.float_format', lambda x: '%.5f' % x)
plt.rcParams['font.sans-serif'] = ['SimHei']  #用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False  #用来正常显示负号

data = pd.read_csv('data.csv') #读取数据
print(data.head())  #展示前几行

image.png

#描述性统计分析
#依次计算最小值、最大值、平均值、标准差
description = [data.min(), data.max(), data.mean(), data.std()]
#将结果存入数据框
description = pd.DataFrame(description, index=['Min', 'Max', 'Mean', 'STD']).T
print('描述性统计结果：\n', np.round(description, 2))  #保留两位小数

image.png

#相关性分析
corr = data.corr(method='pearson')  #计算相关系数矩阵
print('相关系数矩阵为：\n', np.round(corr, 2))  #保留两位小数

image.png

#绘制相关性热力图
plt.subplots(figsize=(10, 10))  #设置画面大小
sns.heatmap(corr, annot=True, vmax=1, square=True, cmap="Blues")
plt.title('相关性热力图')
plt.show()
plt.close()

image.png

#数据预处理: Lasso回归选取关键属性
lasso = Lasso(1000)  #调用Lasso()函数，设置λ的值为1000, lasso的复杂程度由λ来控制，λ越大对变量较多的线性模型的惩罚力度就越大，从而最终获得一个变量较少的模型。
lasso.fit(data.iloc[:,0:13], data['y'])
print('相关系数为：\n', np.round(lasso.coef_, 5))  #输出结果，保留5位小数
print('相关系数非零个数为：\n', np.sum(lasso.coef_ != 0))  #计算相关系数非零的个数
mask = lasso.coef_ != 0  #返回一个相关系数是否为零的布尔数组
print('相关系数是否为零：\n', mask)

image.png

mask = np.insert(mask, 13, [False])
# print(mask)
new_data = data.T[mask].T
# print(new_data)

#构建财政收入预测模型
##构建灰色预测模型并预测
new_data.index = range(1994, 2014)
new_data.loc[2014] = None
new_data.loc[2015] = None
cols = ['x1', 'x3', 'x4', 'x5', 'x6', 'x7', 'x8', 'x13']
# print(new_data)
for i in cols:
    f = GM11(new_data.loc[range(1994, 2014), i].values)[0]
    new_data.loc[2014, i] = f(len(new_data) - 1)  #2014年预测结果
    new_data.loc[2015, i] = f(len(new_data))  #2015年预测结果
    new_data[i] = new_data[i].round(2)  #保留两位小数
y = list(data['y'].values)  #提取财政收入列，合并至新数据框中
y.extend([np.nan, np.nan])
new_data['y'] = y
print('预测结果为：\n',new_data.loc[2014:2015,:])  #预测展示

image.png

##构建支持向量回归预测模型
feature = ['x1', 'x3', 'x4', 'x5', 'x6', 'x7', 'x8', 'x13']  #属性所在列
data_train = new_data.loc[range(1994, 2014)].copy()  #灰色预测后的数据，取2014年前的数据建模
data_mean = data_train.mean()
data_std = data_train.std()
data_train = (data_train - data_mean)/data_std  #数据标准化
x_train = data_train[feature].values  #属性数据
y_train = data_train['y'].values  #标签数据

linearsvr = LinearSVR()  #调用LinearSVR()函数
linearsvr.fit(x_train, y_train)
x = ((new_data[feature] - data_mean[feature])/data_std[feature]).values  #预测，并还原结果
new_data[u'y_pred'] = linearsvr.predict(x) * data_std['y'] + data_mean['y']
print('真实值与预测值分别为：\n', new_data[['y', 'y_pred']])
fig = new_data[['y', 'y_pred']].plot(subplots = True, style=['b-o', 'r-*'])
plt.show()

image.png
image.png