美文网首页
学习的方法01--深度学习(DL)与刻意训练#01

学习的方法01--深度学习(DL)与刻意训练#01

作者: areece | 来源:发表于2020-04-02 07:31 被阅读0次

    学习必须有一种方法,否则为什么会有人学得快,有人学得慢。

    有人讲,学得快慢是因为聪明与否。否则很难解释生活中出现的诸多现象,比如有人就是能够一下子学会,有人难得学会,而一旦学习,忘记得比谁都快。

    从书中学到到基本概念讲,学习就是一个建立神经鞘,让某种类型的神经冲动更容易通过的过程。从现在流行的深度学习训练过程来看,就是建立每一个神经元参数,包括了各输入权重,激活函数类型与参数等的训练过程。如果这是真的,那么学习快的人(聪明的人)就是能够快速训练并收敛的人,而博学的人,则是本身网络规模(超参数量)比较大的人,这多好玩。

    假设这些是真的,并且再假设人一出生,就限定了硬件单元(神经元个数与神经元的频率)参数,那么我们唯一能够做的,就是固定一个模式,尽快能够在一次一次地迭代中,确定好超参。如果我们也是用类型GD(gradient descent)方法在训练我们的大脑,那就要求我们每一个epoch的训练之后,需要评估我们的Loss函数,并调整下一轮次的参数。

    对于普通人来讲,进步不够快,或者不进步甚至退步的原因也许就是我们只是在进行推理,而没有评估训练的过程,或者评估Loss函数并且修改参数的这个过程没有刻意地去做,如果评估根本是错的,那参数调整必然也是错的,这就意味着退步。很多书上讲的刻意训练,也是这么一个道理。

    相关文章

      网友评论

          本文标题:学习的方法01--深度学习(DL)与刻意训练#01

          本文链接:https://www.haomeiwen.com/subject/sortphtx.html