在选择一个模型进行训练时后，如何判断模型的优劣及模型的性能呢？一般可以从一下几个方面进行优化：
1、研究学习曲线，判断过拟合或者欠拟合并作出调整
2、调节模型权重参数，调整特征权重和特征组合
3、bad-case分析，错误例子挖掘
4、模型融合，取长补短
模型融合综合个体学习器的优势，能降低预测误差、优化整体模型性能。而且个体学习器的准确性越高、多样性越大，模型融合的提升效果越好。
voting投票机制分为软投票和硬投票，采用少数服从多数的思路。软投票优于硬投票，增加了设置权重的功能。
下面是测试案例，使用make_moons数据集：
1、调用sklearn的VotingClassifier来完成硬投票hard，LogisticRegression分数为0.864，RandomForestClassifier分数为0.896，SVC 分数为0.896，hard VotingClassifier分数为0.912。
2、调用sklearn的VotingClassifier来完成软投票soft，soft VotingClassifier分数为0.92比硬投票稍高。
3、再使用高级的机器学习的扩展库mlxtend来测试iris_data。
调用扩展库的投票分类器EnsembleVoteClassifier的软投票，设置权重，画出决策边界。
网友评论