- 如果你在完全相同的训练数据上训练了五种不同的模型，它们都达到95％的精度，
你是否有机会将这些模型结合起来以获得更好的结果？如果可以，该怎么做？ 如果不可以，为什么？
- 如果你已经训练了五种不同的模型，它们都达到95％的精度，你可以尝试将它们组合成一个投票集合，这往往会给你更好的结果。
- 如果每个模型都非常不同，它会更好（例如，SVM分类器，决策树分类器，Logistic回归分类器等）。
- 如果他们接受不同训练实例的训练，那就更好了（这就是 bagging and pasting ensembles的重点），但如果不是，只要模型非常不同，它仍然会起作用。
- 硬投票分类器和软投票分类器有什么区别？
- 硬投票分类器只计算类中每个分类器的投票并选择得票最多的类。
- 软投票分类器计算每个类的平均估计类概率，并选择具有最高概率的类。
这使得高置信度投票更加重要并且通常表现更好，但它仅在每个分类器能够估计类概率时才起作用（例如，对于Scikit-Learn中的SVM分类器，您必须设置probability = True）。
- 是否有可能通过将 bagging ensemble分布到多台服务器来加速训练？同样，对于 pasting ensembles, boosting ensembles, randomforests, or stacking ensembles是否可以呢？
-
通过将其分布在多个服务器上来加速bagging ensemble的训练是非常有可能的，因为集合中的每个预测器都独立于其他预测器。
-
出于同样的原因，pasting ensembles和随机森林也是如此。
-
然而，boosting ensembles中的每个预测器都是基于先前的预测器构建的，因此训练必然是连续的，并且你不会通过在多个服务器之间分配训练来获得任何收益。
-
关于stacking ensembles，鉴于层中的所有预测器彼此独立，因此可以在多个服务器上并行训练它们。但是，一层中的预测器只能在前一层中的预测器都经过训练后才能进行训练。
-
out-of-bag evaluation的好处是什么？
通过out-of-bag evaluation，bagging ensemble中的每个预测器都是使用未经过训练的实例（它们被held out）来评估的。这使得可以对集合进行相当公正的评估，而无需额外的验证集。因此，你有更多可用于训练的实例，并且你的集合可以表现稍好一些。 -
什么使得Extra-Trees比常规随机森林更随机？这种额外的随机性如何提供帮助？ Extra-Trees比常规随机森林慢还是快？
当您在随机森林中种植树时，只考虑特征的随机子集以在每个节点处进行分割。对于Extra-Trees也是如此，但它们更进了一步：- Extra-Trees为每个特征使用随机阈值，而不是像常规决策树那样搜索最佳阈值。这种额外的随机性就像一种正则化的形式：如果随机森林过拟合训练数据，Extra-Tree可能表现更好。
- 此外，由于Extra-Trees不会搜索最佳阈值，因此它们比随机森林训练要快得多。
- 然而，在做出预测时，它们既不比随机森林更快也不不比随机森林慢。
-
如果您的AdaBoost集合欠拟合训练数据，你应该调整哪些超参数以及如何调整？
如果您的AdaBoost集合欠拟合训练数据，你可以尝试：
- 增加估计器的数量
- 减少基本估计器的正则化超参数。
- 你也可以尝试稍微提高学习率。
- 如果你的Gradient Boosting集合过拟合训练集，你应该增加还是降低学习率？
如果您的Gradient Boosting集合过拟合训练集，
- 你应该尝试降低学习率。
- 你也可以使用早期停止（early-stopping）来找到正确数量的预测器（你可能会有很多）。
网友评论