避免过拟合。
L1和L2正则化通过在损失函数上增加参数的惩罚项，通过对参数大小的约束，起到类似降维的作用（若高阶项参数接近0，相当于降阶）。
进而简化模型，提高模型泛化力，避免过拟合。
L1和L2正则化修改代价函数，Dropout修改神经网络本身。
image.png
如图所示，dropout直接让一些神经元随机停止工作。
举个不恰当的例子，大家感受一下
勤劳的神经元们事无巨细地干活，花大量时间把不重要的特征都学到了（过拟合），按这种方式去做其他事效率就很低（模型泛化能力差）
现在随机挑选几个神经元组成小团队高效地工作（精兵简政），不仅速度快，效率高，工作的内容更有重点，还消除减弱了神经元节点间的联合适应性，增强了泛化能力。
Dropout 作用： 避免过拟合。 Dropout与L1和L2正则化区别： L1和L2正则化通过在损失函数上增加...
Dropout 深度学习（二十二）Dropout浅层理解与实现 - hjimce的专栏 理解dropout - 雨...
参考资料： 深度学习中Dropout原理解析[https://zhuanlan.zhihu.com/p/38200...
一. 简介： 在神经网络的训练过程中，对于一次迭代中的某一层神经网络，先随机选择其中的一些神经元并将其临时隐藏(丢...
摘要：本文详细介绍了深度学习中dropout技巧的思想，分析了Dropout以及Inverted Dropout两...
1 绪论 1.1 深度学习与机器学习 1.2 深度学习的发展历程 为了提升性能，人们提出了Dropout等过拟合的...
Dropout 的理解 Dropout 在深度学习中是一种防止过拟合的手段，具有很好的容错能力。 dropout ...
*** 使用深度学习的初始参数相关 1. 网络深度 2. learning rate 3.dropout
《深度学习：原理与应用实践.pdf》PDF高清完整版-免费下载 《深度学习：原理与应用实践.pdf》PDF高清完整...
机器学习领域有个重要假设：IID独立同分布假设 假设训练数据和测试数据是满足相同分布 独立同分布假设是通过训练集得...
本文标题：深度学习dropout作用与原理
本文链接：https://www.haomeiwen.com/subject/uzumqqtx.html
网友评论