在deep learning中，很常用的一个trick就是dropout技术。
dropout顾名思义就是丢弃，丢弃的是每一层的某些神经元。有什么作用呢？在DNN深度网络中过拟合问题一直存在，dropout技术可以在一定程度上防止网络的过拟合。
假设每一层神经元丢弃概率是p,那么保留下来概率就是1-p。每一个神经元都有相同的概率被丢弃和保留。
所以dropout其实就是一个伯努利变量，并且把dropout放在激励函数层，公式中a是激励函数，通常为Relu，xk表示输入的vector，wk是weight，b是bias。对于第i个神经元，
p(xi=0)=p
这是常规的dropout技术，还有一种Inverted dropout.其实就是将保留的概率改为（1-p）的倒数。这样实际上在训练阶段将激励函数进行缩放。
另外，虽然不能保证每次网络丢弃的神经元个数是N*p,但是平均丢弃是N*p。并且dropout技术通常与L2 范数或者其他参数约束技术（比如Max Norm）一起使用，从而帮助简化学习率的选择过程。
在deep learning中，很常用的一个trick就是dropout技术。 dropout顾名思义就是丢弃，丢...
Dropout这个概念已经推出4年了，它的详细描述见论文。可是呢，它仿佛是个犹抱琵琶半遮面的美女，难以捉摸！！许多...
Dropout简单理解 Dropout 理解dropout
目录： Dropout简介 1.1 Dropout出现的原因 1.2 什么是Dropout 2. Dropout工...
理解 dropout（Understanding Dropout） Dropout可以随机删除网络中的神经单元，他...
Dropout: Dropout is a regularization technique. You only ...
Dropout 深度学习（二十二）Dropout浅层理解与实现 - hjimce的专栏 理解dropout - 雨...
摘要：本文详细介绍了深度学习中dropout技巧的思想，分析了Dropout以及Inverted Dropout两...
解决loss过拟合问题： 在loss函数中加入正则化项，Dropout等途径 Dropout 带Dropout的网...
Dropout 的理解 Dropout 在深度学习中是一种防止过拟合的手段，具有很好的容错能力。 dropout ...
本文标题：谈谈dropout
本文链接：https://www.haomeiwen.com/subject/ykgylxtx.html
网友评论