超参数值的搜索

超参数的搜索：提前设置好参数可以选择的候选值，然后根据不同参数组合对于模型泛化能力的贡献，选取最佳的超参数组合。

方法一：GridSearchCV

GridSearchCV，基于交叉验证的网格搜索法：将要搜索的参数候选值输入搜索器内，搜索器遍历每一种参数值的组合，使用交叉验证对比每种参数组合下模型的表现，返回表现最好模型的参数值。

• 优点：自动调参，参数准确性高；
• 缺点：需要耗费巨大的算力和计算时间。

sklearn api：

• from sklearn.model_selection import GridSearchCV

方法二：RandomizedSearchCV

RandomizedSearchCV，基于交叉验证的随机搜索法：基本原理与GridSearchCV一致，但为了提高搜索效率，搜索器会从参数组合内随即搜索一些参数进行训练和验证，返回最好的参数值组合。

• 优点：运行效率高，适合大数据样本；
• 缺点：准确度有所牺牲。

sklearn api：

• from sklearn.model_selection import RandomizedSearchCV