其他|调参 or 理论

作者: wutouxiang | 来源:发表于2017-08-30 19:28 被阅读38次

机器学习工业界出现两种截然不同声音,一派是「调参」(优先实践,后理论),另一派是「理论」(优先理论,后实践)

其实都不对,老实说目前见到的「调参」就提升个 2-3 % (超参数),对商业很多问题不是特别重要,倒不如换个新算法或者弄个特征工程(增加新维度)。「理论」在工业界运用更加不靠谱,主要是理论与实际不贴切,比如:

  • 缺失值怎么处理
  • 多分类问题怎么做
  • 不平衡样本怎么分析
  • 数据量不多怎么办
  • ....

好的做法是优先使用现有成熟方法,以最快速度跑通模型得出结果,比如:

  • 先抽样几万数据建模,准确率 70%,那么可以估计增加到百万级,模型准确率会变得更好
  • 做好维度构建,好的维度 >> 算法 >> 调参
  • 算法不要局限于机器学习,就提升那几个百分点,尝试别的类型方法 —— 网络分析、ODE 方程等其他数学方法

相关文章

  • 其他|调参 or 理论

    机器学习工业界出现两种截然不同声音,一派是「调参」(优先实践,后理论),另一派是「理论」(优先理论,后实践) 其实...

  • 【深度学习实践】补充01. 批量大小对于数据集收敛的影响

    神经网络对于的调参主要指超参数的调参,在众多超参数之中,批量大小(Batch Size)占有着举足轻重的作用。理论...

  • 记vue路由传参引发的bug

    最近遇到一个bug通过vue路由跳转到页面,然后接参调接口,失败而直接刷新页面,其他逻辑不变,接参调接口,成功 苦...

  • 2018-11-27 机器学习打卡

    课1 为什么学习公式: 选特征、调超参、换模型,称为调参工程师的三板斧,要想有章法地使用它们,理论基础还是必不可少...

  • 调参

    1首先是数据增强,因为正常情况下,数据量往往不够,因此需要通过裁剪 2数据预处理,pca,normalizatio...

  • 调参

    参数更新 神经网络的学习目的是找到使损失函数尽可能小的参数,即解决一个最优化问题.但是由于神经网络参数空间过于复杂...

  • 调参

    死亡的神经元占的比例 RELU 文中给出了一种针对ReLU神经元的特殊初始化,并给出结论:网络中神经元的方差应该是...

  • 调参

    转载https://www.sohu.com/a/241208957_787107 基本原则:快速试错 一些大的注...

  • 调参

    1.lr用1e-2-1e-3结果较好。lr值小的话,上升test auc会比较慢,但最后结果说不定会比lr大要好。...

  • Day 6: 参数调节

    我们平时一直都在说“调参、调参”,但实际上,不是调“参数”,而是调“超参数” 1.参数(Parameter) 参数...

网友评论

    本文标题:其他|调参 or 理论

    本文链接:https://www.haomeiwen.com/subject/fuvxjxtx.html