Torch中的benchmarkdeterministic是什么含义?

benchmark 基准
deterministic 确定的

torch.backends.cudnn.benchmark=true

设置这个 flag 可以让内置的 cuDNN 的 auto-tuner 自动寻找最适合当前配置的高效算法，来达到优化运行效率的问题。

如果网络的输入数据维度或类型上变化不大，设置 torch.backends.cudnn.benchmark = true 可以增加运行效率；
如果网络的输入数据在每次 iteration 都变化的话，会导致 cnDNN 每次都会去寻找一遍最优配置，这样反而会降低运行效率。

当随机数种子seed确定时，每次返回的卷积算法将是确定的，模型的训练结果将始终保持一致。

cudnn.deterministic = True

参考资料
Torch官方文档:TORCH.BACKENDS

Torch中的benchmarkdeterministic是什么含义?相关推荐

Pytorch中torch.nn.Softmax的dim参数含义
自己搞了一晚上终于搞明白了,下文说的很透彻,做个记录,方便以后翻阅 Pytorch中torch.nn.Softmax的dim参数含义
torch中的copy()和clone()
torch中的copy()和clone() 1.torch中的copy()和clone() y = torch.Tensor(2,2):copy(x) --- 1 修改y并不改变原来的x y = x: ...
Python中的__name__和__main__含义详解
背景在写Python代码和看Python代码时,我们常常可以看到这样的代码: ? 1 2 3 4 5 def main(): ...... if __name__ == "__ma ...
python函数type的用意_Python中type的构造函数参数含义说明
测试代码如下: 复制代码代码如下: class ModelMetaClass(type): def __new__(cls,name,base,attrs): logging.info(" ...
VMware中High Availability (HA),的含义
VMware中High Availability (HA),的含义 HA,High Availability (HA),高可用性,这个词,不同厂家意思不一样,做cluster的软件,就经常会听说这个词 ...
torch中的topk()函数
torch中的topk()函数 In [2]: import torchIn [3]: a=torch.randn((4,6))In [4]: a Out
js基础语法(01)-JS中+号的三种含义
01-JS中+号的三种含义 (1)数学意义上的相加 : 1 + 1 会得到: 2 (2) 数学意义上的正负号: +5 正数作用:可以把string类型转换成number类型 (3)字符串的连接符:' ...
einops包中的rearrange，reduce, repeat及einops.layers.torch中的Rearrange，Reduce。对高维数据的处理方式
from einops import rearrange, reduce, repeat from einops.layers.torch import Rearrange, Reduce 一.rea ...
（原）torch中微调某层参数
转载请注明出处: http://www.cnblogs.com/darkknightzh/p/6221664.html 参考网址: https://github.com/torch/nn/issues ...
torch中Dataset的构造与解读
torch中Dataset的构造与解读 Dataset的构造要自定义自己的数据集,首先需要继承Dataset(torch.utils.data.Dataset)类. 继承Dataset类之后,必须重 ...

Torch中的benchmarkdeterministic是什么含义?

Torch中的benchmarkdeterministic是什么含义?相关推荐

最新文章

热门文章