生活中我们找别人询问买东西、到多个医院问诊询问意见，这些其实都是集成学习。
在机器学习中，我们可以对KNN、逻辑回归、SVM、决策树、神经网络等预测的结果进行投票，少数服从多数最终决定预测结果。
在sklearn中提供了一个Voting Classifier的方法进行投票。这是属于集成学习的一种。Voting Classifier分为Hard和Soft两种方式。
1. Hard Voting Classifier
Hard方式其实就是我们用多种机器学习方法得到的结果进行投票，少数服从多数得到结果。比如KNN与逻辑回归预测结果为A，但是SVM预测结果为B，结果进行投票是A。
我们构造如下数据：
import numpy as np
import matplotlib.pyplot as plt
from sklearn import datasets
X, y = datasets.make_moons(n_samples=500, noise=0.3, random_state=42)
plt.scatter(X[y==0,0],X[y==0, 1])
plt.scatter(X[y==1,0],X[y==1, 1])
plt.show()
Hard Voting实现：
from sklearn.ensemble import VotingClassifier
voting_clf = VotingClassifier(estimators=[
('log_clf', LogisticRegression()),
('svm_clf', SVC()),
('dt_clf', DecisionTreeClassifier(random_state=10)),
], voting='hard')
voting_clf.fit(X_train, y_train)
voting_clf.score(X_test, y_test)
2. Soft Voting Classifier
其实对于一种方法一票，少数服从多数的方法有时候是不合理的，更合理的方法应该是有权值的。类似于唱歌比赛的投票，专业评审的分值会高，普通观众的分值更低。
如下图所示，能明显看出两者的差距。其实软投票就是计算得出不同方法的分类概率的均值，最后选择均值最高的作为预测结果。
Soft Voting的实现：
voting_clf = VotingClassifier(estimators=[
('log_clf', LogisticRegression()),
('svm_clf', SVC(probability=True)),
('dt_clf', DecisionTreeClassifier(random_state=10)),
], voting='soft')
voting_clf.fit(X_train, y_train)
voting_clf.score(X_test, y_test)
网友评论