美文网首页python与Tensorflow
Tensorflow——tf.nn.dropout防止过拟合

Tensorflow——tf.nn.dropout防止过拟合

作者: SpareNoEfforts | 来源:发表于2018-10-30 16:37 被阅读99次

Dropout原理简述:

tf.nn.dropout是TensorFlow里面为了防止或减轻过拟合而使用的函数,它一般用在全连接层。

Dropout就是在不同的训练过程中随机扔掉一部分神经元。也就是让某个神经元的激活值以一定的概率p,让其停止工作,这次训练过程中不更新权值,也不参加神经网络的计算。但是它的权重得保留下来(只是暂时不更新而已),因为下次样本输入时它可能又得工作了。示意图如下:


但在测试及验证中:每个神经元都要参加运算,但其输出要乘以概率p。

tf.nn.dropout函数说明

tf.nn.dropout(x, keep_prob, noise_shape=None, seed=None,name=None)

  • x:指输入

  • keep_prob:设置神经元被选中的概率,在初始化时keep_prob是一个占位符, keep_prob = tf.placeholder(tf.float32) 。
    tensorflow在run时设置keep_prob具体的值,例如keep_prob: 0.5

tensorflow中的dropout就是:使输入tensor中某些元素变为0,其它没变0的元素值变为原来的1/keep_prob大小!

栗子来咯

相关文章

  • Tensorflow——tf.nn.dropout防止过拟合

    Dropout原理简述: tf.nn.dropout是TensorFlow里面为了防止或减轻过拟合而使用的函数,它...

  • 防止过拟合

    方法有三: L1和L2正则 Dropout early stop 1. L1和L2正则: 模型权重越小,复杂度越低...

  • 机器学习笔记 - 逻辑回归

    假设公式 损失函数 梯度下降 过拟合 防止过拟合: 梯度下降

  • Task03:动手学深度学习——过拟合和欠拟合、梯度消失和梯度爆

    (学习笔记,待补充)本文目录如下: 1.过拟合和欠拟合1.1过拟合和欠拟合的概念1.2.防止过拟合的方法1.3.防...

  • 无标题文章

    dropout layer的目的是为了防止CNN 过拟合。那么为什么可以有效的防止过拟合呢?首先,想象我们现在只训...

  • 防止过拟合方法

    一、防止过拟合的方法有哪些? 过拟合是指模型参数拟合过程中的问题。由于训练集数据包含抽样误差,复杂模型在进行拟合过...

  • TensorFlow 过拟合和欠拟合

    与之前一样,此示例中的代码将使用tf.keras API,您可以在TensorFlow Keras指南中了解更多信...

  • 正则化防止过拟合

    机器学习中使用「正则化来防止过拟合」到底是一个什么原理?为什么正则化项就可以防止过拟合? 正则化,也叫Reguli...

  • SVM如何防止过拟合

    SVM如何避免过拟合 过拟合(Overfitting)表现为在训练数据上模型的预测很准,在未知数据上预测很差。过拟...

  • tensorflow初学

    tensorflow 优化: 如何减少过拟合: dropout 正则化 减少隐含层的层级数目

网友评论

    本文标题:Tensorflow——tf.nn.dropout防止过拟合

    本文链接:https://www.haomeiwen.com/subject/gcggtqtx.html