美文网首页
Dropout 深度学习中间的正则化手段之一

Dropout 深度学习中间的正则化手段之一

作者: 十年磨剑_莫回首 | 来源:发表于2021-11-23 14:41 被阅读0次

nn.Dropout ---- input 可以是任何形状和尺寸,一般是用在全连接线性映射之后(紧跟着)。

nn.Dropout2d ---- input 必须是(N,C,H,W) 这样的多通道2维数据集合。如果特征图里面的临近像素点存在强相关性,纳闷dropout不会使用,否则会的话,可以使学习率有效递减。

nn.Dropout3d---- input 必须是 (N,C,D,H,W) 这样的多通道的3维数据集。如果特征图里面的临近像素点存在强相关性,纳闷dropout不会使用,否则会的话,可以使学习率有效递减。

nn.AlphaDropout---input 可以是任何尺寸,输出的尺寸大小和input一致, 目的是为了保证输出的结果是零均值和单位方差。

nn.FeatureAlphaDropout ---input必须是(N,C,D,H,W) 或者是 (C,D,H,W), 输出尺寸大小和输入一致。 保证输出的结果是零均值和单位方差。如果特征图里面的临近像素点存在强相关性,纳闷dropout不会使用,否则会的话,可以使学习率有效递减。

相关文章

网友评论

      本文标题:Dropout 深度学习中间的正则化手段之一

      本文链接:https://www.haomeiwen.com/subject/poxudhtx.html