美文网首页
pytorch【模型模块】四、nn网络层:池化层-线性层-激活函

pytorch【模型模块】四、nn网络层:池化层-线性层-激活函

作者: 米线织毛衣 | 来源:发表于2020-02-19 16:13 被阅读0次

一、池化层

最大值池化和平均池化(池化可用于冗余信息的剔除,以及减少计算量)

1、最大池化nn.MaxPool2d

用于记录最大值像素所在位置的索引,在最大值反池化上采样的时候使用(把对应的像素值放在对应的位置上)。

2、平均池化nn.AvgPool2d

divisor_override是除法因子,比如它为10时,即使我们用的2*2的池化窗口,平均时,也不是除以4,而是除以10。

3、最大值反池化nn.MaxUnpool2d

二、线性层

上图省略了偏置。

三、激活函数层

如果没有激活函数层,多个线性层叠加和一个线性层就没有区别:

1、sigmoid函数
2、tanh函数
3、ReLU函数(ReLU:修正线性单元)

ReLU的改进:

相关文章

网友评论

      本文标题:pytorch【模型模块】四、nn网络层:池化层-线性层-激活函

      本文链接:https://www.haomeiwen.com/subject/grmafhtx.html