python batchnorm2d_PyTorch中的BatchNorm2d层

先来看看pytorch中对于类的定义：

CLASS torch.nn.BatchNorm2d(num_features, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)

解析一下每个参数的作用：

num_features：BatchNorm是针对每一个通道做的，所以这里应该填写(N, C, H, W)中的C

eps：在对参数进行标准化的时候，需要保证不出现除零错误，故需要eps参数

momentum ：这里，E[x]与Var[x]不仅仅与本batch的x有关，而是采用了一个滑动平均来全面考虑了之前所有batch的情况。滑动平均的参数即为momentum

affine：进行放射变换，如果为False则

为1，

为0。这两个参数都是可学习参数，在Parameter类中名称为weight和bias

track_running_stats：本参数是pytorch0.4.1后新增加的参数，在Parameter类中表现为num_batches_tracked。这个参数的作用如下:

训练时用来统计训练时的forward过的min-batch数目,每经过一个min-batch, track_running_stats+=1

如果没有指定momentum, 则使用1/num_batches_tracked 作为因数来计算均值和方差(running mean and variance).

这里有一个要注意的点就是，running mean和running variance的更新是不依赖反传的，即使你用detach把梯度截断之后，这两个参数仍然会变化。因此在多阶段训练模型是应该要注意这一点，即第一阶段的模型如果使用了bn，在第二阶段是不能仅仅使用detach截断梯度就完事儿了。running_mean和running_variance和num_batches_tracked参数仍然会变化进而影响结果。

python batchnorm2d_PyTorch中的BatchNorm2d层相关推荐

python循环语句-python语句中Python循环语句（附代码）
python语句多如牛毛,对于很多初学者来说,不知道该如何下手.今天本文将着重讲述python语句中for语句和while语句.都知道这2种语句都属于循环语句,for语句属于遍历循环,while语句属 ...
python类装饰器详解-Python类中的装饰器在当前类中的声明与调用详解
我的Python环境:3.7 在Python类里声明一个装饰器,并在这个类里调用这个装饰器. 代码如下: class Test(): xx = False def __init__(self): pa ...
python类中包含一个特殊的变量、它可以访问类的成员_区域联防的运用中遵循并贯彻以球为主的防守原则，做到球人区三者兼顾。（）...
刘墉书法的特点是用墨厚重,体丰骨劲,浑厚敦实,别具面目.A:对B:错 Python类中包含一个特殊的变量(),它表示当前对象自身,可以访问类的成员.A:meB:selfC:thisD:与类同名在过火 ...
Python 这篇文章告诉我Python实际中干什么事情
一直心存疑虑:Python可以干什么事情? 对Python在企业级开发中的10大误解 lyxi | 2015-10-15 10:49 浏览量(216) 评论(0) 推荐(0) 数据在 ...
Think+Python+2e+中译版
[实例简介]0.1 本书与众不同的历史 1999 年 1 月,我正准备使用 Java 教一门编程入门课程.我之前已经开了三次课,但是却感到越来越沮丧.课程的不及格率太高,即使对于及格的学生,他们整体 ...
Python Tutorial中英双语对照文档3
接 Python Tutorial中英双语对照文档2 CHAPTER NINE CLASSES 类 Classes provide a means of bundling data and funct ...
python类中包含一个特殊的变量、它可以访问类的成员_Python类中包含一个特殊的变量（），它表示当前对象自身，可以访问类的成员....
包含票务系统的业务管理主要内容包括()A:运营监督B:规则管理C:信息管理D:财务管理E:模式管理特殊表嘌呤核苷酸补救合成途径的主要器官是().A:脑组织B:小肠C:胸腺D:肝脏E:肾脏示当身嘌呤 ...
python实现经典的3层神经网络
python实现经典的3层神经网络作者:Student Guo 时间:2022/6/11 单位:Lanzhou University 前言随着信息技术的快速发展,利用计算机识别手写数字节省了大量的 ...
python调用什么函数实现对文件内容的读取_如何使用python语言中的方法对文件进行读写操作...
在我们使用python语言中的文件时,可以使用open()方法打开文件,close()方法关闭文件,read()方法读取文件内容,write()方法写入内容到文件中.下面利用几个实例说明文件读写方法, ...

python batchnorm2d_PyTorch中的BatchNorm2d层

python batchnorm2d_PyTorch中的BatchNorm2d层相关推荐

最新文章

热门文章