导语
什么是参数？
参数作为模型从历史训练数据中学到的一部分，是机器学习算法的关键。
统计学中的“参数”：
在统计学中，你可以假设一个变量的分布，比如高斯分布。高斯分布的两个参数分别是平均值和标准差。这在机器学习中是有效的，其中这些参数可以用数据估计得到并用作预测模型的一部分。
编程中的“参数”：
编程中可以将参数传递给函数。在这种情况下，参数是一个函数参数，可以有一个取值范围。在机器学习中，您正在使用的具体模型就是函数，需要参数才能对新数据进行预测。
“参数”和“模型”有什么关系？
简单来说，模型参数就是模型内部的配置变量，可以用数据估计它的值。
具体来说， 模型参数具有以下特征：
- 进行模型预测时需要模型参数；
- 模型参数之可以定义模型功能；
- 模型参数用数据估计或数据学习得到；
- 模型参数一般不由实践者手动设置；
-
模型参数通常作为学习模型的一部分保存。
通常使用优化算法估计模型参数，优化算法是对参数的可能性进行的一种有效搜索。
模型参数的一些例子包括： - 人造神经网络中的权重；
- 支持向量机中的支持向量；
- 线性回归或逻辑回归中的系数；
什么是模型超参数？
模型超参数是模型外部的配置，其值不能从数据估计得到。
具体特征有：
- **模型超参数常应用于估计模型参数的过程中； **
- 模型超参数通常由实践者直接指定；
- 模型超参数通常可以使用启发式方法来设置；
-
模型超参数通常根据给定的预测建模问题而调整；
怎样得到它的最优值：对于给定的问题，我们无法知道模型超参数的最优值。但是我们可以使用经验法则来探究其最优值，或复制用于其他问题的值，也可以通过反复试验的方法。
模型超参数的一些例子包括： - 训练神经网络的学习速率；
- 支持向量机的C和Sigma超参数；
- KNN问题中的K；
“模型参数”和“模型超参数”
两者的联系：
当针对特定问题调整机器学习算法时，例如使用网络搜索或随机搜索时，你将调整模型或命令的超参数，以发现一个可以使模型预测最熟练的模型参数。许多模型中重要的参数无法直接从数据中估计得到，例如KNN。这种类型的模型参数被成为调整参数，因为没有可用的分析公式来为其计算一个合适的值。
如果你必须手动指定一个“模型参数”，那么它可能就是一个模型超参数。
总结
模型参数是从数据中自动估计的，而模型超参数是手动设置的，并用于估计模型参数的过程。
网友评论