背景及挖掘目标
我国的空气质量分为5级,对健康影响水平的评语有7个,它们是:优(一级,0-50)、良(二级,51-100)、轻微污染(三级1, 101-150)、轻度污染(三级2,151-200)、中度污染(四级1,201-250)、中度重污染(四级2,251-300)与重污染(五级,大于300)。括号中的数值是空气污染指数,数值越高,表明污染物浓度越大。但“优、良、污染”这样的评语并没有让公众明白它们对健康的影响程度。我国的空气质量日报已超过十年,公众仍不清楚:今天的空气到底是安全还是不安全。有人根据空气中SO2,NO,NO3,PM2.5等的含量,进行建模实现对空气质量的评价。
建模步骤
1 数据提取
根据某地实时监控的数据进行预处理,部分样本数据如下
2 读取数据
#-*- coding: utf-8 -*-
import pandas as pd
import matplotlib.pyplot as plt
inputfile = '../data/air1.xls' #读取数据路径
outputfile1 = '../tmp/air_train.xls' #混淆矩阵输出路径
outputfile2 = '../tmp/air_test.xls' #混淆矩阵输出路径
data = pd.read_excel(inputfile, encoding = 'gbk') #读取数据
print (data.head())
data = data.as_matrix()
from numpy.random import shuffle #
shuffle(data) #打乱数据
data_train = data[:int(0.8*len(data)), :] #4:1划分
data_test = data[int(0.8*len(data)):, :]
x_train = data_train[:, :6]*30#因为样本数据较小,所以进行扩大化,经过实验30最合适,如果太大则过拟合,太小就欠拟合
y_train = data_train[:, 6].astype(int)
x_test = data_test[:, :6]*30
y_test = data_test[:, 6].astype(int)
3 svm建模
from sklearn import svm
airsvm = svm.SVC()
airsvm.fit(x_train, y_train)
import pickle
pickle.dump(airsvm, open('../tmp/airsvm.model', 'wb'))
利用svm建模,并保存模型
4 结果评价
from sklearn import metrics
air_train = metrics.confusion_matrix(y_train, airsvm.predict(x_train))
air_test = metrics.confusion_matrix(y_test, airsvm.predict(x_test))
pd.DataFrame(air_train, index = range(1, 7), columns = range(1,7)).to_excel(outputfile1)
pd.DataFrame(air_test, index = range(1, 7), columns = range(1,7)).to_excel(outputfile2)
print(airsvm.score(x_train, y_train))
print(airsvm.score(x_test, y_test))
训练集的混淆矩阵
测试集的混淆矩阵
从图中看出测试集能取得不错的结果,达到90%以上的准确度
网友评论