pytorch 可复现性

官网说明：

Reproducibility — PyTorch 1.8.0 documentation

参考博客：

PyTorch模型可复现性总结 - 简书

pytorch 固定随机数种子踩过的坑_yqf3838751的博客-CSDN博客

PyTorch设置随机数种子使结果可复现 - 简书

代码设置：

1. 训练文件：

把以下代码放在主文件的最开始部分。

 #cuDnn中往往会并行跑多个算法来选择效果最好的那个，这里就可能引入噪声。因此，如果为了保证可复现性，可以将这个特性禁用，缺点就是会损失一定的性能。如果为了达到最优的效果，可以将开关打开：def set_seed(seed):torch.manual_seed(seed)torch.cuda.manual_seed(seed)torch.cuda.manual_seed_all(seed)  # if you are using multi-GPU.np.random.seed(seed)  # Numpy module.random.seed(seed)  # Python random module.os.environ['PYTHONHASHSEED'] = str(seed)torch.use_deterministic_algorithms(True)torch.backends.cudnn.enabled = False torch.backends.cudnn.benchmark = False #禁用benchmark，保证可复现#torch.backends.cudnn.benchmark = True #恢复benchmark，提升效果torch.backends.cudnn.deterministic = Trueos.environ['CUBLAS_WORKSPACE_CONFIG'] = ':4096:8'setup_seed(2021)

2. 数据加载器设置：

train_dataset = ImageList(opt.training_list,transform)def seed_worker(worker_id):worker_seed = torch.initial_seed() % 2**32numpy.random.seed(worker_seed)random.seed(worker_seed)DataLoader(train_dataset,batch_size=batch_size,num_workers=num_workers,worker_init_fn=seed_worker
)

其他问题：

1.关于nn.SLTM的问题

实验中发现，如果设置了nn.LSTM的dropout参数，是无法通过随机种子的固定来复现实验结果的。这似乎是一个cuDNN的bug，在此记录一下。

相关讨论见nn.LSTM gives nondeterministic results with dropout and multiple layers。

示例如下：

lstm = nn.LSTM(input_size = 256, hidden_size = 128, num_layers = 1, batch_first = True, dropout = 0.5 )

2.关于nn.Embedding()的问题

在数据预处理阶段使用了随机初始化的nn.Embedding()，并将其通过持久化方式pickle保存了下来。

再次使用它时，通过pickle.load()读取，即使固定了随机数种子，此时读取到的nn.Embedding()中的weight与当初保存下来的weight是不同的。

暂不清楚原因。

3.numpy随机数与Dataloader多进程共用的问题

来源：PyTorch + NumPy这么做会降低模型准确率，这是bug还是预期功能？

描述：在 PyTorch 同时使用 NumPy 的随机数生成器和多进程数据加载会导致相同的扩充数据，只有专门设置 seed 才可以解决这个 bug，否则会降低模型的准确率。

个人评价：可能这就是上面个的数据加载器设置中需要有相关设置的原因。