【lightgbm/xgboost/nn代码整理四】pytorch做二分类，多分类以及回归任务

1.简介

本不打算整理pytorch代码，因为在数据挖掘类比赛中没有用过它，做图像相关任务时用pytorch比较多。有个小哥提到让整理一下，就花了几天时间整理了一份，没有很仔细调试过，有问题请读者指出。下面将从数据处理、网络搭建和模型训练三个部分介绍。如果只是想要阅读代码，可直接移步到尾部链接。

2. 数据处理

参考上一节的数据处理

3.模型

pytorch 定义的mlp代码如下：

class MLP(torch.nn.Module):
    def __init__(self, n_feature, n_hidden, n_output, dropout=0.5):
        super(MLP, self).__init__()
        self.dropout = torch.nn.Dropout(dropout)

        self.hidden_1 = torch.nn.Linear(n_feature, n_hidden)  # hidden layer
        self.bn1 = torch.nn.BatchNorm1d(n_hidden)

        self.hidden_2 = torch.nn.Linear(n_hidden, n_hidden//2)
        self.bn2 = torch.nn.BatchNorm1d(n_hidden//2)

        self.hidden_3 = torch.nn.Linear(n_hidden//2, n_hidden//4)  # hidden layer
        self.bn3 = torch.nn.BatchNorm1d(n_hidden//4)

        self.hidden_4 = torch.nn.Linear(n_hidden // 4, n_hidden // 8)  # hidden layer
        self.bn4 = torch.nn.BatchNorm1d(n_hidden // 8)

        self.out = torch.nn.Linear(n_hidden//8, n_output)  # output layer

    def forward(self, x):
        x = F.relu(self.hidden_1(x))  # activation function for hidden layer
        x = self.dropout(self.bn1(x))
        x = F.relu(self.hidden_2(x))  # activation function for hidden layer
        x = self.dropout(self.bn2(x))
        x = F.relu(self.hidden_3(x))  # activation function for hidden layer
        x = self.dropout(self.bn3(x))
        x = F.relu(self.hidden_4(x))  # activation function for hidden layer
        x = self.dropout(self.bn4(x))
        x = self.out(x)
        return x

定义的网路结构和上一节keras中定义的一样，同样也添加了dropout层和bn层。不同之处这个网络最终的输出都是线性输出。

训练和预测

4.1 数据加载

pytorch是以tensor的形式加载数据，需要将数据转为tenser格式，如果有gpu处理器，并且安装的也是gpu版本的pytorch,就可以使用gpu加速处理，通过DataLoader来加载数据，代码如下。

x_test = np.array(test_X)
x_test = torch.tensor(x_test, dtype=torch.float)
if torch.cuda.is_available():
    x_test = x_test.cuda()
test = TensorDataset(x_test)
test_loader = DataLoader(test, batch_size=batch_size, shuffle=False)

4.2 训练

model = MLP(x_train.shape[1], 512, classes, dropout=0.3)
if torch.cuda.is_available():
    model = model.cuda()
    
optimizer = torch.optim.Adam(model.parameters(), lr=learning_rate, weight_decay=1e-5)
loss_fn = torch.nn.CrossEntropyLoss()  #多分类
#loss_fn = torch.nn.BCEWithLogitsLoss() #二分类
#loss_fn = torch.nn.L1Loss()   #回归

y_pred = model(x_batch)
loss = loss_fn(y_pred, y_batch)
optimizer.zero_grad()       
loss.backward()             
optimizer.step()            

定义完网络后，如果存在GPU，则需要将model也添加上gpu。优化函数同keras一样，都含有adam,sgd等。损失函数针对不同问题有所不同，在代码中已有标注，上面列出的分类任务都采用的是交叉熵损失函数，集成了最后一层的激活函数，如多分类的CrossEntropyLoss，它已经集成了softmax函数，且不需要对类别类别做onehot处理，直接输入int值即可。

• optimizer.zero_grad(）：是为下一次训练清除梯度值
• loss.backward()是反向传播，计算每个参数的梯度值
• optimizer.step()：是更新参数权重值包括，weights和biases

4.3 预测

在预测中eval()函数会自动把BN和DropOut固定住，不会取平均，而是用训练好的值。不然的话，一旦test的batch_size过小，很容易就会被BN层导致生成图片颜色失真极大。代码如下

model.eval()
y_pred = model(x_batch)
test_preds_fold[i * batch_size:(i + 1) * batch_size] = y_pred.cpu().numpy()

由于计算的结果是tensor，需要转为numpy。

最终的结果转化同keras一样，如二分类需要设定阈值。

代码地址：data_mining_models

写在最后

关注公号:

AI成长社
ML与DL的成长圣地。
知乎专栏：ML与DL成长之路