- 超参数hyperparameters
- 超参数通过控制机器学习算法来调整模型以至于适应数据，controls how the machine learning algorithms fits the model to the data, 即控制模型复杂度，控制算法行为。
- 超参数可以是
a. numbers of trees in a random forest
b. regularization parameter
c. learning rate
- 超参数和参数的区别
- 超参数是特指定的，例如：learning rate等，在训练前已经固定好
-
参数是待训练的，例如：weights等，在训练过程中不断调整。
image.png
- 超参数的优化算法
-
Grid search （效果不好）
image.png
-
Random search （效果一般）
image.png
-
Bayesian optimization （效果最好）
image.png
- Bayesian optimization
- 是个时序过程
- 通过构造后验分布方程来优化目标方程； 即随着观察样本的增加，后验分布不断改进，算法就能
详细理解参见https://zhuanlan.zhihu.com/p/29779000
步骤1. 通过之前观察的数据x来计算后验概率p（y|x）。 使用高斯过程回归算法；scikit-learn库中有GaussianProgressRegressor函数。
- 目的需要计算出每个点的均值和方差。
- 均值表示这个点最终的期望效果，均值越大表示模型最终指标越大；
- 方法表示这个点的效果不确定性，方程越大，表示这个点不确定是否可能去的最大值，值得去探索。
- 通俗说，就是要均值大，方差大
- 设计机器学习的建议步骤
- 建立初始系统，进行迭代训练
- 使用cross validation来评估模型
- 使用bias/variance， error analysis来调整下阶段安排
网友评论