美文网首页
贝叶斯优化原理

贝叶斯优化原理

作者: poteman | 来源:发表于2021-08-17 14:20 被阅读0次
  1. 定义目标函数, y = f(x)
    x 表示模型超参数， y表示对应超参数在验证集上的得分；
  2. 获得冷启动数据[X, Y]，假设为20条,
    (x_1, y_1), (x_2, y_2), ..., (x_{20}, y_{20})
  3. 使用高斯混合模型对数据进行拟合，GP.fit(X, Y)
  4. 随机生成100组参数: \widetilde{x}_{1}, \widetilde{x}_{2}, ..., \widetilde{x}_{100}
    使用高斯模型对这100组参数进行预测，获得预测值和标准差。
    对应为\widetilde{y}_{1}, \widetilde{y}_{2}, ..., \widetilde{y}_{100}和\widetilde{std}_{1}, \widetilde{std}_{2}, ..., \widetilde{std}_{100}
  5. 生成的100组随机参数对应的得分p为：\widetilde{p}_{i}=\frac{\widetilde{y}_{i}-y_{best}}{\widetilde{std}_{i}+\epsilon}， i从1到100，获得最优的p_i对应的参数\widetilde{x}_{i}
    其中，\epsilon表示一个很小的数字；y_{best}表示当前已知的最优参数对应的最佳得分：y_{best}=max(y_{1},y_{2},...,y_{20})，
  6. 使用\widetilde{x}_{i}进行训练，获得对应在验证集上的得分。
  7. 使用6中新获得的样本更新[X,Y]，回到3重新训练，迭代3-7的步骤。
    【参考】：Implement Bayesian Optimization from Scratch

相关文章

  • 贝叶斯优化原理

    定义obj function, x 表示模型参数， y表示对应参数在验证集上的score 获得冷启动数据[X, Y...

  • 机器学习经典算法 - 朴素贝叶斯

    朴素贝叶斯 Naive Bayes 朴素贝叶斯分类建立在 贝叶斯原理 的基础上，关于贝叶斯原理这一部分可以参考链接...

  • 优化算法work plan

    贝叶斯优化－＞强化学习优化－＞PBT

  • 朴素贝叶斯算法介绍及优化

    朴素贝叶斯（Naive Bayes） 贝叶斯公式 朴素贝叶斯算法其实原理很简单，要理解朴素贝叶斯算法我们首先得知道...

  • Task5 朴素贝叶斯、SVM、LDA主题模型

    任务 朴素贝叶斯 朴素贝叶斯的原理 利用朴素贝叶斯模型进行文本分类 SVM模型 SVM的原理 利用SVM模型进行文...

  • 贝叶斯

    原理 关于贝叶斯算法的原理，推荐查看朴素贝叶斯算法原理小结，里面讲的非常详细，这里摘录原理小结。 优点 分类效率稳...

  • 机器学习数学原理（4）——朴素贝叶斯模型

    机器学习数学原理（4）——朴素贝叶斯模型 朴素贝叶斯模型（Naive Bayes Model），是一种基于贝叶斯定...

  • 基于Spark的机器学习实践 (八) - 分类算法

    0 相关源码 1 朴素贝叶斯算法及原理概述 1.1 朴素贝叶斯简介 ◆ 朴素贝叶斯算法是基于贝叶斯定理和特征条件...

  • 机器学习之朴素贝叶斯

    1.贝叶斯原理 朴素贝叶斯分类（Naive Bayesian，NB）源于贝叶斯理论，是一类基于概率的分类器，其基本...

  • 机器学习-贝叶斯

    贝叶斯概述： 贝叶斯分类算法是统计学中的一种概率分类方法，朴素贝叶斯分类是贝叶斯分类中最简单的一种。其分类原理就是...

网友评论

      本文标题：贝叶斯优化原理

      本文链接：https://www.haomeiwen.com/subject/uftibltx.html

      延伸阅读

      深度阅读

      • 您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

      栏目导航

      热点阅读

      关于我们|服务条款|联系我们|贝叶斯优化原理|投稿指南|网站地图|RSS订阅|排版工具|手机版

      提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

      Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网 版权所有

      备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

      本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

      所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！