机器学习回归模型一般步骤——Kaggle House Price

最近在做kaggle比赛题，House Price Advanced Regression Tech，用以提高自己对机器学习应用的认识。

总结出的机器学习一般步骤：读数据，看分布，查关联，找异常，填空值，转非数，做验证，做预测，交结果。同时提供了实例的代码，可用作调优的基础。由于属性处理的较为粗暴，目前提交处于leaderboard一半的位置。后续我将继续对该模型进行调优。

1. 读数据：

   import seaborn as sns
   import matplotlib.pyplot as plt
   import pandas as pd
   import numpy as np
   from sklearn.model_selection import cross_val_score
   from sklearn import linear_model
   from sklearn import metrics

   df = pd.read_csv("C:\\Users\\GaoJianli\\Desktop\\ml\\HousePrice\\train.csv")
   train = df
   test = pd.read_csv("C:\\Users\\GaoJianli\\Desktop\\ml\\HousePrice\\test.csv")

2. 看分布： 训练数据里面的Y值的分布是否正常。

• 可视化方式

       sns.distplot(train["SalePrice"])  
       plt.show()

效果如下

SalePrice分布图

可以观察这个图并不怎么对称。

• 直接查看

   train["SalePrice"].skew()
   1.8828757597682129
  

  一般希望特征分布最好符合normal distribution。是否符合则是检测数据的skewness。如果skew()值大于0.75， 则需要进行分布变换。一般使用log变换
  这里skewness明显大于0.75，故进行变换

   y = np.log(train["SalePrice"])

3. 查关联： 各个数值属性与Y值的关联程度，去除关联程度非常低的属性。

• 可视化方式

  data = df.corr()
  sns.heatmap(data)
  plt.show()

关联图

越是白色越是关联紧密。可以观察SalePrice跟哪些属性关联更紧密。

• 直接查看
  热力图显示有很多时候显示不全，尤其属性特别多的时候。这个时候，可能直接查看更方便。

 data = df.corr()
 data["SalePrice"].sort_values()

 KitchenAbvGr    -0.135907
EnclosedPorch   -0.128578
MSSubClass      -0.084284
OverallCond     -0.077856
YrSold          -0.028923
LowQualFinSF    -0.025606
MiscVal         -0.021190
BsmtHalfBath    -0.016844
BsmtFinSF2      -0.011378
3SsnPorch        0.044584
MoSold           0.046432
PoolArea         0.092404
ScreenPorch      0.111447
BedroomAbvGr     0.168213
BsmtUnfSF        0.214479
.....
GarageYrBlt      0.486362
YearRemodAdd     0.507101
YearBuilt        0.522897
TotRmsAbvGrd     0.533723
FullBath         0.560664
1stFlrSF         0.605852
TotalBsmtSF      0.613581
GarageArea       0.623431
GarageCars       0.640409
GrLivArea        0.708624
OverallQual      0.790982
SalePrice        1.000000
Name: SalePrice, dtype: float64

可以看到有不少值是负的，还有很多值低于0.2，我们可以直接把这些feature从我们的模型里面去掉。

4. 找异常：找出最相关的几个属性里面的异常点。最好的方法是可视化。

     sns.lmplot(x="GrLivArea", y="SalePrice", 
     data=df,fit_reg=False,scatter=True)
     plt.show()
   

GrLivArea与SalePrice关系图

可以看到有两个面积特别大的房子，售价却很低。故我们在训练数据中删除这两个数据。

train = train[-((train.SalePrice < 200000) &  (train.GrLivArea > 4000))]

5. 填空值：看各属性里面的空值情况，根据该属性的分布，对空值进行处理。这里有个地方需要注意：不止train的数据里面有空值，test数据里面也会有空值。而且可能分布在不同属性里面。所以，需要一开始对train和test的数据进行汇总，根据二者的总体分布来处理空值。
   如果某个属性空值过多，我直接从数据中删除该属性。
   如果空值占比不大，如果是数字类型，我就填写均值。如果是字符串类型，我就填写出现次数最多的字符串。
   这种方法不一定好，我只是用这种方法尝试。

   查看空值情况：

 for col in train.columns:
     if train[col].isnull().sum() > 0:
         print col, train[col].isnull().sum()

LotFrontage 259
Alley 1369
MasVnrType 8
MasVnrArea 8
BsmtQual 37
BsmtCond 37
BsmtExposure 38
BsmtFinType1 37
BsmtFinType2 38
Electrical 1
FireplaceQu 690
GarageType 81
GarageYrBlt 81
GarageFinish 81
GarageQual 81
GarageCond 81
PoolQC 1453
Fence 1179
MiscFeature 1406

处理空值：

#一半是删除过多空值的属性，一半是删除无关联的属性 
 train = train.drop(["MiscFeature", "Id", "PoolQC", "Alley", "Fence","GarageFinish", "KitchenAbvGr", "EnclosedPorch", "MSSubClass", "OverallCond", "YrSold", "LowQualFinSF", "MiscVal", "BsmtHalfBath", "BsmtFinSF2", "3SsnPorch", "MoSold", "PoolArea"], axis=1)

 test = test.drop(["MiscFeature", "PoolQC", "Alley", "Fence","GarageFinish", "KitchenAbvGr", "EnclosedPorch", "MSSubClass", "OverallCond", "YrSold", "LowQualFinSF", "MiscVal", "BsmtHalfBath", "BsmtFinSF2", "3SsnPorch", "MoSold", "PoolArea"], axis=1)

#汇总train和test的数据
all_data = pd.concat((train, test))
#如果数字，填写均值。如果字符串，填写次数最多的
for col in train.columns:
    if train[col].isnull().sum() > 0:
        if train[col].dtypes == 'object':
            val = all_data[col].dropna().value_counts().idxmax()
            train[col] = train[col].fillna(val)
        else:
            val = all_data[col].dropna().mean()
            train[col] = train[col].fillna(val)
 for col in test.columns:
     if test[col].isnull().sum() > 0:
         if test[col].dtypes == 'object':
             val = all_data[col].dropna().value_counts().idxmax()
             test[col] = test[col].fillna(val)
         else:
             val = all_data[col].dropna().mean()
             test[col] = test[col].fillna(val)

6. 转非数：对非数字的属性进行转换。这里我使用最简单粗暴的get_dummies()来对train数据和test数据进行转换。这里也有个地方要注意：test数据里面属性的取值范围可能跟train数据里面属性的取值范围部分不同。这样如果直接对test数据和train数据做get_dummies，很可能会导致test和train数据转化后出现了不同的列。所以需要综合处理。

  #综合处理，转值类型
  for col in all_data.select_dtypes(include = [object]).columns:
      train[col] = train[col].astype('category', categories = all_data[col].dropna().unique())
      test[col] = test[col].astype('category', categories = all_data[col].dropna().unique())

  for col in train.columns:
      if train[col].dtype.name == 'category':
         tmp = pd.get_dummies(train[col], prefix = col)
         train = train.join(tmp)
         train = train.drop(col, axis=1)

  for col in test.columns:
      if test[col].dtype.name == 'category':
           tmp = pd.get_dummies(test[col], prefix = col)
           test = test.join(tmp)
           test = test.drop(col, axis=1)

7. 做验证

    lr = linear_model.LinearRegression()
    X = train.drop("SalePrice", axis=1)
    y = np.log(train["SalePrice"])
    score = cross_val_score(lr, X,y, scoring='mean_squared_error')
    print score
   

8. 做预测

   lr = lr.fit(X, y)
   results = lr.predict(test.drop("Id", axis = 1))
   final = np.exp(results)

9. 交结果

  submission = pd.DataFrame()
  submission['Id'] = test.Id
  submission['SalePrice'] = final

  submission.to_csv("submission1.csv", index= False)