这是模型分析的利器。

最优拟合、过拟合、欠拟合的形态

最优拟合 欠拟合 过拟合

L2 正则化处理过拟合

在 loss 中加入 weight 的对抗，这样就使得 weight 不至于过大，而达到缓解过拟合的作用。又叫做权重衰减。因为这个衰减是对 loss 进行的衰减并且操作是固定的，所以可以通过设置 优化器的 weight_decay 来设置，也就是那个 .

同时优化器，也可以设置针对不同的参数进行不同的优化:

# 对权重参数衰减
optimizer_w = torch.optim.SGD(params=[net.weight], lr=lr, weight_decay=wd) 
# 不对偏差参数衰减
optimizer_b = torch.optim.SGD(params=[net.bias], lr=lr)  

过拟合 L2正则化，应对过拟合