一、池化层
最大值池化和平均池化(池化可用于冗余信息的剔除,以及减少计算量)
1、最大池化nn.MaxPool2d
用于记录最大值像素所在位置的索引,在最大值反池化上采样的时候使用(把对应的像素值放在对应的位置上)。
2、平均池化nn.AvgPool2d
divisor_override是除法因子,比如它为10时,即使我们用的2*2的池化窗口,平均时,也不是除以4,而是除以10。
3、最大值反池化nn.MaxUnpool2d
二、线性层
上图省略了偏置。
三、激活函数层
如果没有激活函数层,多个线性层叠加和一个线性层就没有区别:
1、sigmoid函数
2、tanh函数
3、ReLU函数(ReLU:修正线性单元)
ReLU的改进:
网友评论