-
激活函数。可以在
__init__()
里实例化nn.
下的激活函数计算节点,也可以直接在forward()
中使用nn.functional.
下的函数 -
对模型的参数设定初始化。在
__init__()
中实例化某计算节点后,对其参数初始化。
import torch.nn.init as init
def __init__():
···
#从高斯分布中抽样
init.normal(.weight, mean= ,std= )
- 按照神经网络的类别做不同的参数初始化
def Model(nn.Module):
···
model = Module()
model.apply(···)
- dropout加入的位置是在relu激活函数之后,下一层全连接层之前。可以实例化用
nn.Dropout()
节点,也可以用F.dropout()
。
网友评论