image

本文将用“泰坦尼克船员获救预测”这一案例展示一下使用线性回归建模的流程。

1.数据理解

首先导入原始的数据并展示数据的前5行，大致了解一下数据的情况。

原始数据中分别有以下几列信息：PassengerId、Survived、pclass、Name、Sex、Age、SibSp、Parch、Ticket、Fare、Cabin、Embarked。其中Survived表示是否存活也就是本次建模的目标变量。而显然PassengerId、Name、Ticket、Cabin是无意义或无法使用的变量。

import pandas as pd
titanic = pd.read_csv("train.csv") 
#导入数据
titanic.head() 
#展示原始数据的前5行，观察数据的概况

image

2.数据预处理

输入变量中性别和上船地点为字符串类型，需要转化为数值类型才能用于建模。

titanic["Sex"].unique() 
#展示“性别”列的所有取值可能性，只有male和female
titanic["Embarked"].unique() 
#展示“上船地点”列的所有取值可能性，有S、C、Q、null
titanic.loc[titanic["Sex"]=="male","Sex"]=0
titanic.loc[titanic["Sex"]=="female","Sex"]=1
titanic.loc[titanic["Embarked"]=="S","Embarked"]=0
titanic.loc[titanic["Embarked"]=="C","Embarked"]=1
titanic.loc[titanic["Embarked"]=="Q","Embarked"]=2

刚才我们看到上船地点一列中还有一部分缺失值，可以这一列中取值概率最大的值来填充。

titanic.groupby("Embarked").size() 
#变量不同取值的分布情况

image

可以看到取值概率最大的为0，即S。使用0对上船地点一列的缺失值进行填充。

titanic["Embarked"]=titanic["Embarked"].fillna(0)

打印数据集的统计信息，继续观察数据。可以发现年龄一列存在缺失值。

titanic.describe()

image

使用年龄的中位数对缺失值进行填充。

titanic["Age"]=titanic["Age"].fillna(titanic["Age"].median())

3.线性回归建模

在建模这一步需要先对数据集进行划分，分为训练集和测试集，这里我们采用k重交叉验证的方法。然后只要调用线性回归模型，设置相应的参数然后代入数据进行训练即可。

from sklearn.linear_model import LinearRegression
#引入线性回归的模型包
from sklearn.model_selection import KFold
#引入K重交叉验证的模型包
predictors=["pclass","Sex","Age","SibSp","Parch","Fare","Embarked"]
#输入建模输入变量
alg=LinearRegression()
#定义一个变量等于线性回归模型
kf=KFold(n_splits=3,shuffle=False,random_state=1)
#设置交叉验证的相关参数，n_splits代表k
predictions=[]
#定义一个变量存放预测值
for train,test in kf.split(titanic[predictions]):
 train_predictors = (titanic[predictors].iloc[train,:])
 #取出训练集中的船员特征属性
 train_target = titanic["Survived"].iloc[train]
 #取出训练集中是否获救的结果
 #这里使用了3重交叉验证，所以训练集数据对应就分别有三个数据集，后续这三个训练集会分别代入模型训练，最终取平均值作为预测结果
 alg.fit(train_predictors,train_target)
 #将训练集数据代入线性回归模型进行训练
 test_predictors = alg.predict(titanic[predictors].iloc[test,:])
 #使用测试集对模型进行测试
 predictions.append(test_predictors)
 #收集结果

4.模型评估

训练完成之后就可以通过测试集得到的预测值通过混淆矩阵等方法对模型进行评估。下面我们可以先对预测值进行处理，然后计算模型的准确率。

import numpy as np
predictions = np.concatenate(predictions,axis=0)
#将测试集得到的预测值连接起来放到一个变量中。在测试时由于是多重交叉验证，所以得到的结果实际上是存在三个数组中的
predictions[predictions >.5] = 1
predictions[predictions <=.5] = 0
predictions.dtype = "float64"
#将预测值大于0.5的定义为存活，预测值小于等于0.5的定义为未存活

print("测试数据总数量",len(predictions))
print("正确的数量：",sum(predictions == titanic["Survived"]))
accuracy = sum(predictions == titanic["Survived"]) / len(predictions)
print("准确率为：",accuracy)

image

可以看到此次建模的准确率约为78%，并不是特别高。对于这种情况，我们可以从数据处理技巧、建模算法、参数调节等方面继续深入探索，以得到更优的模型。