pytorch

1.numpy and torch 

numpy中是array torch中是tensor

torch.from_numpy(numpy.array)

torch.numpy()获得numpy

np.sin() == torch.sin()

对于array对象，*和np.multiply函数代表的是数量积，如果希望使用矩阵的乘法规则，则应该调用np.dot和np.matmul函数。

对于matrix对象，*直接代表了原生的矩阵乘法，而如果特殊情况下需要使用数量积，则应该使用np.multiply函数。

np.matmul == torch.mm

array.dot()!=torch.dot()

2.Variable

torch.autograd中的Variable

tensor放到Variable中加入计算的图中，获得Variable中的tensor要用variable.data()

Pytorch的Variable相当于一个Wraper，如果你想将数据传送到Pytorch构建的图中，就需要先将数据用Variable进行包装，包装后的Variable有三个attribute：data，creater，grad，其中data就是我们被包裹起来的数据，creator是用来记录通过何种计算得到当前的variable,grad则是在进行反向传播的时候用来记录数据的梯度的。

3.activation

torch.nn.functional中有softplus

torch中有relu/tanh/sigmoid

4.regression

unsqueeze(input, dim)在指定的维度增加一维

5.classification

cat((x0, x1),0)把另一个矩阵放在下面按行，1为放在右边按列

torch.max()0为返回每一列中最大值的那个值，返回值有两个，一个是最大值一个是最大值的索引

使用crossentropy的话y的值必须是一维的不然会出现错误multi-target not supported at/

6.快速搭建神经网络

使用torch.nn.Sequential(放进去网络的各层即可)

7.save and load

保存整个网络的时候使用torch.save和torch.load

当只需要保存网络的参数的时候只需要torch.save(net.state_dict()) net.load_state_dict(torch.load())

plt画图的时候subplot多个小图之后在最后一个小图后面加上plt.show()

8.batch

首先需要将X, Y放入到Data.TensorDataset中去

然后需要创建batch下载器，即Data.DataLoader(dataset=, batch_size=, shuffle=True, num_workers=)

for (batch_x, batch_y) in loader就可以获取batch_x以及batch_y。

9.optimizer

如果loader中的num_workers不等于0，那么这个程序要在main函数下运行，不然会出现错误。因为原因：多进程需要在main函数中运行，解决方法1：加main函数，在main中调用 解决方法2：

num_workers改为0，单进程加载

10.CNN

使用torchvision.datasets.MNIST数据集获取train_data和test_data，获取的数据是tensor类型，以前DataLoader数据集是使用Data.TensorDataset(x, y)创建现在直接使用torchvision获取的数据集。

使用x.view()来改变tensor大小，实现flatten。

figure是指一个图，axes是指图上的一个画图区域，一个图上可以有多个画图区域。

使用TSNE降维度，使用plot_with_label画图画全连接层前面那层的神经元状态。

numpy中ndarray的属性很多都是不是函数，type(a)数组类型，a.dtype数组元素类型，a.size数组的尺寸数组元素综述，a.shape数组形状，a.ndim数组的维度。

11.RNN

使用LSTM数据需要变成batch_size*time_step*input_size

cnn中使用的是batch_size*height*length*width

numpy中包含的newaxis即np.newaxis可以给原数组增加一个维度

np.newaxis放的位置不同，产生的新数组也不同

12.nan

tensor中只要有一个是nan，那么计算结果肯定有nan，有时不是学习率其他的问题。