目的

我们为了重现模型，希望随机的部分再次重现的时候，能够得到相同的值。有时候为了模型比对也需要如此。

设置

import torch
import numpy as np
import random


def set_seed(seed: int = 7) -> None:
    """
    设置相关函数的随机数种子
    :param seed: 随机数种子
    :return: None
    """

    # 随机数种子设定
    torch.manual_seed(seed)
    torch.cuda.manual_seed_all(seed)
    np.random.seed(seed)
    random.seed(seed)

    # CUDA中的一些运算，如对sparse的CUDA张量与dense的CUDA张量调用torch.bmm()，它通常使用不确定性算法。
    # 为了避免这种情况，就要将这个flag设置为True，让它使用确定的实现。
    torch.backends.cudnn.deterministic = True

    # 设置这个flag可以让内置的cuDNN的auto-tuner自动寻找最适合当前配置的高效算法，来达到优化运行效率的问题。
    # 但是由于噪声和不同的硬件条件，即使是同一台机器，benchmark都可能会选择不同的算法。为了消除这个随机性，设置为 False
    torch.backends.cudnn.benchmark = False

set_seed()

s = torch.tensor([1, 2, 3])
g = torch.zeros((2, 1))
print("g", g)
print("g normal", g.normal_(0.0, 1.0))

set_seed()

w = torch.zeros((2, 1))
print("w", w)
print("w normal", w.normal_(0.0, 1.0))

这样输出的 g 和 w 是一样的。


# 模型比对
即使设置的种子，依然在比对复杂模型的时候有一定难度。原因在，模型可能有些差异，那么这时候，可以考虑使用 fake_weight，两个模型都使用同样的随机值初始化权重。使用 apply 函数将其权重都使用相同的随机值进行初始化。具体参考 easytext, `mrc/tests/models/test_mrc_ner.py`