关于pytorch 反传计算图一点小心得：

计算图记录了variable的所有操作。若需要此变量反向求导，则一开始参与计算时该以variable出现。
直接改动variable下的tensor（即variable.data)，则其改动在反传中无效。
计算时最好进行矩阵整体运算，单独对矩阵中某些数值进行改动，计算图代价很大。
如，我们的目标是将Mat(cos_\theta)在j=label处替换成phi_\theta
如下代码，如果对phi_theta[i,j]进行单独操作，由于公式1中的cos_theta[i,j]是variable。因此，在计算图中，矩阵中的每个元素都得单独反传。
```
  for i in range(cos_theta.shape[0]):
      j=target[i].data[0]
      if cos_theta[i,j].data[0] >= -self.cosm:
          phi_theta[i,j]=self.cosm * cos_theta[i,j] - \
                       self.sinm * torch.sqrt(1e-6+1-cos_theta[i,j]*cos_theta[i,j]) #公式1
      else:
          phi_theta[i,j] = cos_theta[i,j]
```

将代码改成

    for i in range(cos_theta.shape[0]):
        j=target[i].data[0]
        if cos_theta[i,j].data[0] >= -self.cosm:
            flagMat[i,j]= 1
        else:
            flagMat[i,j] = 0
    flagMat=Variable(flagMat)
    phi_theta=(self.cosm * cos_theta - self.sinm * torch.sqrt(1e-6+1-cos_theta*cos_theta))*flagMat\
              +(1-flagMat)*cos_theta

新构造指示矩阵flatMat与公式1进行运算，且flatMat不参与反传，得到的phi_\theta.grad_fn为公式1backward，计算图恢复正常！life will be better！