美文网首页
NNI tuner对比

NNI tuner对比

作者: nni_group | 来源:发表于2019-02-15 21:55 被阅读0次

NNI Tuner对比

  • TPE
SMBO.png.jpg

目前AutoML/NAS领域较常用的一种Tuner,适用于评估函数开销较大、搜索空间较大的场景,相比Random/Grid Search等暴力搜索方法,能够在搜索空间较大的应用场景下搜索出较为理想的参数。其缺点是需要寻找合适的概率模型。

  • Random Search

    随机搜索,适用于对参数先验信息未知,且搜索空间较小的场景,算法简单方便,能够在一些较为简单的任务上得到比较理想的结果,缺点也十分明显,无法改进之前的搜索结果,得到更理想的参数。

  • Anneal

    与Random Search一样是随机化搜索,不同的是在时间上较近的搜索结果和历次最好的搜索结果的基础上进行采样。其优点是能够改进Random Search的结果,比Random Search更快得到理想的参数。

  • Evolution

    遗传算法,由于其缓慢的参数步进过程,适用于搜索空间较小的场景,但通常能达到较理想的参数。

  • SMAC

    同样也是SMBO算法的一种,在序列模型上引入了高斯随机过程的模型和基于随机森林的模型,能够同时处理连续数值型参数和离散类别型参数。

  • Batch Tuner

    只能对搜索空间里显式定义的参数进行逐个遍历搜索。适用于搜索空间极小的场景,不适用于连续数值型分布的参数。

  • Grid Search

    穷举法,只能搜索离散类别型参数,适用于搜索空间较小,模型训练/评估开销较小的场景。

  • Hyperband

    在训练的时候只迭代一定的次数,新的一轮训练在上一轮较为理想的参数上进一步训练。其设计是为了能够尽可能地遍历所有参数组合,适用于搜索空间较大但时间开销较为有限的场景。

  • Network Morphism

    类似于遗传算法的思想,每次基于父代产生一组子代,然后基于历次搜索过的网络结构和对应的评估值来预测子代的评估值,选出最理想的一个子代进行训练。适用于DL场景,能够较为稳定地搜索得到一组理想的参数,由于训练之前会进行一轮较为仔细的预测选择,避免了多次训练DL模型较大的开销。

相关文章

  • NNI tuner对比

    NNI Tuner对比 TPE 目前AutoML/NAS领域较常用的一种Tuner,适用于评估函数开销较大、搜索空...

  • Microsoft NNI 入门 —— 安装

    NNI与其他自动机器学习工具的比较、NNI安装过程体会、NNI使用过程体会、对NNI的建议NNI与其他自动机器学习...

  • 微软新工具 NNI 使用指南之 Tuner 篇

    作者:occam_razor_team(DemoV,尹鹏宇,张博涵) 什么是 Tuner 在开始之间我们首先需要了...

  • 微软新工具 NNI 使用指南之 Tuner 篇

    作者 DeamoV 变身的大恶魔 张博涵 什么是 Tuner 在开始之间我们首先需要了解什么是 Tuner。正如之...

  • nni调研

    参考 nni项目代码: https://github.com/microsoft/nni[https://gith...

  • 使用Keras tuner调整超参数

    什么是Keras Tuner? Keras Tuner 是为解决寻找最优超参数问题而设计的简单易用的,可扩展的超参...

  • NNI的学习及简单示例

    NNI NNI是微软发布的一款AutoML工具,可以辅助算法工程师对现有模型进行自动调参。这篇博客总结下NNI的简...

  • NNI

    文档:https://nni.readthedocs.io/zh/latest/Overview.html 调参的...

  • Microsoft NNI入门

    Microsoft NNI入门 【GiantPandaCV导语】Neural Network Intelligen...

  • NNI 博文1

    NNI与其他自动机器学习工具的比较: 根据各个自动学习工具特点绘制以下图表: 由上图所示,NNI相较于其他自动学习...

网友评论

      本文标题:NNI tuner对比

      本文链接:https://www.haomeiwen.com/subject/drkveqtx.html