美文网首页
寻找最优超参数

寻找最优超参数

作者: 博士伦2014 | 来源:发表于2018-11-09 15:21 被阅读0次

使用机器学习算法时,总有一些难搞的超参数。例如权重衰减大小,高斯核宽度等等。算法不会设置这些参数,而是需要你去设置它们的值。设置的值对结果产生较大影响。常见设置超参数的做法有:

1.猜测和检查:根据经验或直觉,选择参数,一直迭代。

  1. 网格搜索:让计算机尝试在一定范围内均匀分布的一组值。
  2. 随机搜索:让计算机随机挑选一组值。
  3. 贝叶斯优化:使用贝叶斯优化超参数,会遇到贝叶斯优化算法本身就需要很多的参数的困难。
  4. 在良好初始猜测的前提下进行局部优化:这就是 MITIE 的方法,它使用 BOBYQA 算法,并有一个精心选择的起始点。由于 BOBYQA 只寻找最近的局部最优解,所以这个方法是否成功很大程度上取决于是否有一个好的起点。在 MITIE 的情下,我们知道一个好的起点,但这不是一个普遍的解决方案,因为通常你不会知道好的起点在哪里。从好的方面来说,这种方法非常适合寻找局部最优解。稍后我会再讨论这一点。
  5. 最新提出的 LIPO 的全局优化方法。这个方法没有参数,而且经验证比随机搜索方法好。

参考: https://github.com/DeqianBai/DeepLearning-500-questions

相关文章

  • 寻找最优超参数

    使用机器学习算法时,总有一些难搞的超参数。例如权重衰减大小,高斯核宽度等等。算法不会设置这些参数,而是需要你去设置...

  • 使用Keras tuner调整超参数

    什么是Keras Tuner? Keras Tuner 是为解决寻找最优超参数问题而设计的简单易用的,可扩展的超参...

  • 3.1.4.1网格搜索

    由于超参数的空间是无尽的,因此超参数的组合配置只能是“最优”解,没有最优解。通常情况下,我们依靠网格搜索对多种超参...

  • 用 Grid Search 对 SVM 进行调参

    上一次用了验证曲线来找最优超参数。 用验证曲线 validation curve 选择超参数 今天来看看网格搜索(...

  • 2021-03-24掌握回归模型的评估及超参数调优

    1.参数与超参数 参数:使用最小二乘法或者梯度下降法等最优化算法优化出来的数, 超参数:无法使用最小二乘法或者梯度...

  • 知识点

    优化方法 梯度下降 梯度下降是一种优化算法,通过迭代的方式寻找模型的最优参数; 所谓最优参数指的是使目标函数达到最...

  • 参数搜索策略 Grid Search

    在之前我们一直讨论的是一个超参数的情况,但是如果是有多个超参数如何计算是最优的超参数呢? 比如逻辑回归加了两个正则...

  • 无约束条件的参数优化(1)--梯度下降算法

    为什么要学习最优化理论? 因为对于ML模型训练,最终都可以归结为最优化问题,寻找最优参数,是模型的loss最小。 ...

  • 深度学习入门--参数更新的优化

    神经网络学习的目的是找到使损失函数的值尽可能小的参数。这是寻找最优参数的问题,解决这个问题的过程称为最优化。而在深...

  • 遗传算法

    Genetic algorithm 常被用于特征选择工具,选择合适的权重参数等。 具有寻找全局最优解的功能 适合离...

网友评论

      本文标题:寻找最优超参数

      本文链接:https://www.haomeiwen.com/subject/iaroxqtx.html