美文网首页
不能当个机械的调参员

不能当个机械的调参员

作者: Seaton | 来源:发表于2020-08-14 23:44 被阅读0次

今天阅读了两章刘知远老师的《Introduction to Graph Neural Networks》和邱锡鹏老师的《神经网络与深度学习》中第二章的一些内容。两本书一本是关于GNN的介绍,一本是关于深度学习的介绍,我感觉这两者都像神仙一样,以一个统筹的视角将GNN以及深度学习的概念介绍得非常清楚。

过去我学习了三遍《概率论》这门课,每次学习一个概念,都是非常抽象地学习:学到期望和方差时:心想:哦,学到一个似乎有点用但是稍微有点儿抽象的概念了;学到概率分布时,心想:哦,学到了一个比较抽象的概念了;学到区间估计时,心想:哦,又学到一个非常抽象概念了。再到后来,学的东西越来越抽象,不知道是什么,也不知道有什么用,甚至不太知道和之前学到的概念有什么关系。几番被老师强调、折腾之后,最后只记得几个解题套路(在人工智能里经常被称作模式)。这些一个个抽象的概念,一旦考完了试就在脑海中逐渐消失,连那些当时熟记于心的套路也随着时间忘记了。从此每次拿起《概率论》课本都和看新书一样。

人工智能这门学科学习来不算容易,在学习这门课的时候, 我偷懒的大脑还是勇气了当初学习《概率论》时的套路——背模式。面对一个要优化的模型,调调参数看看行不行,换一个其他论文中的激活函数,看看行不行。。。总之,对于模型就是很少有自己的理解,更别提为什么选择这么优化了。

邱锡鹏和刘知远老师的书都给了我一种融会贯通的感觉,在介绍GNN时,我觉得:卧槽,刘知远老师怎么能把GNN、RNN、CNN等的区别联系讲述得那么清楚,怎么能把GNN的原理、存在的问题、发展的路径讲述得那么清楚?在介绍深度学习时,我觉得:卧槽,邱锡鹏老师怎么能把机器学习和深度学习的区别联系讲的那么清楚,怎么能把我在《概率论》中学到的最大似然估计和深度学习中的经验误差的联系也讲出来了?原来我在《概率论》中学到的那些抽象的概念都是有用的,之前觉得死死的概念一下子就有了意义。

像我之前那样子只是背模式般的学习估计到最后也只能够当一个机械的调参员:试试不同的算法,试试不同的参数,混一混日子了。而人工智能最先要代替的就是这种无脑机械的活儿了吧。惭愧呀惭愧。

相关文章

  • 不能当个机械的调参员

    今天阅读了两章刘知远老师的《Introduction to Graph Neural Networks》和邱锡鹏老...

  • 调参

    1首先是数据增强,因为正常情况下,数据量往往不够,因此需要通过裁剪 2数据预处理,pca,normalizatio...

  • 调参

    参数更新 神经网络的学习目的是找到使损失函数尽可能小的参数,即解决一个最优化问题.但是由于神经网络参数空间过于复杂...

  • 调参

    死亡的神经元占的比例 RELU 文中给出了一种针对ReLU神经元的特殊初始化,并给出结论:网络中神经元的方差应该是...

  • 调参

    转载https://www.sohu.com/a/241208957_787107 基本原则:快速试错 一些大的注...

  • 调参

    1.lr用1e-2-1e-3结果较好。lr值小的话,上升test auc会比较慢,但最后结果说不定会比lr大要好。...

  • Day 6: 参数调节

    我们平时一直都在说“调参、调参”,但实际上,不是调“参数”,而是调“超参数” 1.参数(Parameter) 参数...

  • 深度学习调参技巧 调参trick

    |公|众|号|包包算法笔记| 背景 事情的起因其实这样,实验室老同学的论文要冲分,问我有没有啥在NN上,基本都有用...

  • 【DL碎片4】深度学习中的的超参数调节

    深度学习中的的超参数调节 我们平时一直都在说“调参、调参”,但实际上,不是调“参数”,而是调“超参数”。 一、参数...

  • XGboost 基线模型及部分参数优化

    1 模型原理及调参参考 调参:XGBoost参数调优完全指南原理:xgboost入门与实战(原理篇) 2 输出基线...

网友评论

      本文标题:不能当个机械的调参员

      本文链接:https://www.haomeiwen.com/subject/rgcodktx.html