大师兄的数据分析学习笔记(二十）：分类集成（二）

大师兄的数据分析学习笔记(十九）：分类集成（一）
大师兄的数据分析学习笔记(二十一）：线性回归

三、集成方法

2. 提升法

• 与袋装法不同，提升法(boost)是将多个模型串联，每个模型以上一个模型的结果为基础进行训练和预测，最后将每个模型的结果进行加权求和得到判决结果
  

2.1 Adaboost

• Adaboost应用了提升法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器（强分类器）。
• 算法过程：

• 假设有m个点：
• 把每个点加初始权值：
• 循环以下过程：
• 先训练一个弱的分类器.
• 将分类器的错分点相加为：
• 并通过计算获得分类器的权值：
• 最后更新每个样本的权值，如果分对了，就乘以，否则乘以, 其中为正规化的权值：
• 最终将所有的分类器的权值相加，获得判别函数：

• Adaboost的优点如下：

• 精度高，灵活可调。
• 不容易过拟合
• 简化特征工程流程

2.2 代码实现

>>>import os
>>>import pandas as pd
>>>import numpy as np
>>>from sklearn.model_selection import train_test_split
>>>from sklearn.metrics import  accuracy_score,recall_score,f1_score
>>>from sklearn.ensemble import RandomForestClassifier
>>>from sklearn.ensemble import AdaBoostClassifier

>>>models = []
>>>models.append(("Adaboost",AdaBoostClassifier()))

>>>df = pd.read_csv(os.path.join(".", "data", "WA_Fn-UseC_-HR-Employee-Attrition.csv"))
>>>X_tt,X_validation,Y_tt,Y_validation = train_test_split(df.JobLevel,df.JobSatisfaction,test_size=0.2)
>>>X_train,X_test,Y_train,Y_test = train_test_split(X_tt,Y_tt,test_size=0.25)

>>>for clf_name,clf in models:
>>>    clf.fit(np.array(X_train).reshape(-1,1),np.array(Y_train).reshape(-1,1))
>>>    xy_lst = [(X_train,Y_train),(X_validation,Y_validation),(X_test,Y_test)]
>>>    for i in range(len(xy_lst)):
>>>        X_part = xy_lst[i][0]
>>>        Y_part = xy_lst[i][1]
>>>        Y_pred = clf.predict(np.array(X_part).reshape(-1,1))
>>>        print(i)
>>>        print(clf_name,"-ACC",accuracy_score(Y_part,Y_pred))
>>>        print(clf_name,"-REC",recall_score(Y_part,Y_pred,average='macro'))
>>>        print(clf_name,"-F1",f1_score(Y_part,Y_pred,average='macro'))
>>>        print("="*40)
0
Adaboost -ACC 0.32086167800453513
Adaboost -REC 0.25459624710099094
Adaboost -F1 0.14092363813679895
========================================
1
Adaboost -ACC 0.3197278911564626
Adaboost -REC 0.250404717853839
Adaboost -F1 0.14941771039332014
========================================
2
Adaboost -ACC 0.30272108843537415
Adaboost -REC 0.2570685434516524
Adaboost -F1 0.14118955654427223
========================================