Pytorch中BatchNorm中running_mean和running

以下的过程中都是在train模式下进行的，并且没有进行损失计算和梯度更新，
但这个过程中running_mean和running_var会进行更新，所以也验证了
running_mean和running_var只受模型的模式（train模型或eval模型)的影响，
与是否进行反向传播(loss.backward)和梯度更新(optimiter.step)没有关系。
实验一：
1. 标准库函数的参数设置为 torch.nn.BatchNorm1d(linear1_features,momentum=0.1)
2. 自定义函数的参数设置为 MyBatchnorm1d(linear1_features,momentum=0.9)
3. 相同的输入，对比输出的参数值是否相同
实验二：
1. 标准库函数的参数设置为 torch.nn.BatchNorm1d(linear1_features,momentum=None)
2. 自定义函数的参数设置为 MyBatchnorm1d(linear1_features,momentum=None)
3. 相同的输入，对比输出的参数值是否相同

针对标准库torch.nn.BatchNorm1d()中running_mean和running_var计算方法的结论：

为方便描述，规定：

rm表示running_mean;

rv表示running_var;

m表示momemtum

b_num表示batchnum，代表当前batch之前的batch个数

一、在train模式下

1. 带动量时，即指定momentum为一个大于0小于1的数值时，相当于当前值与历史值的加权平均

$rm_{new} = (1-m)*rm_{old}+m*mean\_bn$

其中mean_bn是当前batch数据的batch平均值。这里的momentum是对当前值的加权系数！！默认为0.1

$rv_{new} = (1-m)*rv_{old}+m*var\_bn$

其中var_bn是当前batch数据的方差平均值（这里是方差，不是标准差，标准差的平方=方差）

2. 不带动量时，即momentum=None，直接让历史值与当前值取平均

$rm_{new} = rm_{old}*b\_num+mean\_bn)/(b\_num+1)$

$rv_{new} = rv_{old}*b\_num+var\_bn)/(b\_num+1)$

二、在eval模型下

直接用rm、rv作为当前batch均值和方差

代码如下：

# -*- coding: utf-8 -*-
import torch
from torch.autograd import Variable
import torch.optim as optimbatchsize = 16
batchnum = 100
# rawdata = torch.randn([batchsize*batchnum,3])
# torch.save(rawdata,'./debug_running_var_mean_rawdata.pth')
#加载数据，保证数据是不变的
rawdata = torch.load('./debug_running_var_mean_rawdata.pth')
print(rawdata.size())y = Variable(torch.FloatTensor([4,5]))
dataset = [Variable(rawdata[curpos:curpos + batchsize]) for curpos in range(0,len(rawdata),batchsize)]class SimpleModel(torch.nn.Module):def __init__(self):super(SimpleModel,self).__init__()linear1_features = 5self.linear1 = torch.nn.Linear(3,linear1_features)self.relu = torch.nn.ReLU()self.linear2 = torch.nn.Linear(linear1_features,2)#设计时batchnorm放在linear1后面，所以这里用linear1的输出维度self.batch_norm = torch.nn.BatchNorm1d(linear1_features,momentum=0.1)  #标准库中的Barchnorm,track_running_stats默认为True# self.batch_norm = torch.nn.BatchNorm1d(linear1_features,momentum=None)  #标准库中的Barchnorm,track_running_stats默认为Truedef forward(self,x):x = self.linear1(x)x = self.relu(x)x = self.batch_norm(x)x = self.linear2(x)return x#先进行一下简单训练之后，保存参数，后面的模型可以加载此函数，这样相当于给用于实验的两个模型初始化了相同的参数
train_demo = 0
if train_demo == 1:model = SimpleModel()# print(list(model.parameters()))# #查看模型的初始参数# print(model.state_dict().keys())# # for i, j in model.named_parameters():# for i,j in model.state_dict().items():#     print('++++',i)#     print('\t',j)loss_fn = torch.nn.MSELoss(size_average=False)optimizer = optim.SGD(model.parameters(),lr=0.001,momentum=0.9)model.train()for t,x in enumerate(dataset):y_pred = model(x)loss = loss_fn(y_pred,y)print(t,loss.data)model.zero_grad()loss.backward()optimizer.step()#查看训练后的模型参数print('##################The trained Model parameters###############')print(model.state_dict().keys())# for i, j in model.named_parameters():for i,j in model.state_dict().items():print('++++',i)print('\t',j)#保存模型参数state = {'model': model.state_dict()}torch.save(state,'debug_batchnorm.pth')class MyBatchnorm1d(torch.nn.Module):def __init__(self,num_features,momentum=0.9):'''自定义的batchnorm:param num_features::param momentum: 动量系数,大于等于0小于1,表示保留原来变量值的比例，与标准库torch.nn.Batchnorm1d正好相反当取None时，采用简单的取平均的方式计算running_mean和running_var'''super(MyBatchnorm1d,self).__init__()self.weight = torch.nn.Parameter(torch.ones(num_features).float())self.bias = torch.nn.Parameter(torch.zeros(num_features).float())#register_buffer相当于requires_grad=False的Parameter，所以两种方法都可以#方法一：self.register_buffer('running_mean',torch.zeros(num_features))self.register_buffer('running_var',torch.zeros(num_features))self.register_buffer('num_batches_tracked',torch.tensor(0))#方法二：# self.running_mean = torch.nn.Parameter(torch.zeros(num_features),requires_grad=False)# self.running_var = torch.nn.Parameter(torch.ones(num_features),requires_grad=False)# self.num_batches_tracked = torch.nn.Parameter(torch.tensor(0),requires_grad=False)self.momentum = momentumdef forward(self,x):if self.training: #训练模型#数据是二维的情况下，可以这么处理，其他维的时候不是这样的，但原理都一样。mean_bn = x.mean(0, keepdim=True).squeeze(0) #相当于x.mean(0, keepdim=False)var_bn = x.var(0, keepdim=True).squeeze(0) #相当于x.var(0, keepdim=False)if self.momentum is not None:self.running_mean.mul_(self.momentum)self.running_mean.add_((1 - self.momentum) * mean_bn.data)self.running_var.mul_(self.momentum)self.running_var.add_((1 - self.momentum) * var_bn.data)else:  #直接取平均,以下是公式变形，即 m_new = (m_old*n + new_value)/(n+1)self.running_mean = self.running_mean+(mean_bn.data-self.running_mean)/(self.num_batches_tracked+1)self.running_var = self.running_var+(var_bn.data-self.running_var)/(self.num_batches_tracked+1)self.num_batches_tracked += 1else: #eval模式mean_bn = torch.autograd.Variable(self.running_mean)var_bn = torch.autograd.Variable(self.running_var)eps = 1e-5x_normalized = (x - mean_bn) / torch.sqrt(var_bn + eps)results = self.weight * x_normalized + self.biasreturn resultsclass DebugSimpleModel(torch.nn.Module):def __init__(self):super(DebugSimpleModel,self).__init__()linear1_features = 5self.linear1 = torch.nn.Linear(3,linear1_features)self.relu = torch.nn.ReLU()self.linear2 = torch.nn.Linear(linear1_features,2)self.batch_norm = MyBatchnorm1d(linear1_features,momentum=0.9)  #使用自定义的Batchnorm# self.batch_norm = MyBatchnorm1d(linear1_features,momentum=None)  #使用自定义的Batchnormdef forward(self,x):x = self.linear1(x)x = self.relu(x)x = self.batch_norm(x)x = self.linear2(x)return x#查看训练后的模型参数
print('##################The trained Model parameters###############')
model_param_dict = torch.load('debug_batchnorm.pth')['model']
print(model_param_dict.keys())
# for i, j in model.named_parameters():
for i,j in model_param_dict.items():print('++++',i)print('\t',j)'''
以下的过程中都是在train模式下进行的，并且没有进行损失计算和梯度更新，
但这个过程中running_mean和running_var会进行更新，所以也验证了
running_mean和running_var只受模型的模式（train模型或eval模型)的影响，
与是否进行反向传播(loss.backward)和梯度更新(optimiter.step)没有关系。
实验一：
1. 标准库函数的参数设置为 torch.nn.BatchNorm1d(linear1_features,momentum=0.1)
2. 自定义函数的参数设置为 MyBatchnorm1d(linear1_features,momentum=0.9)
3. 相同的输入，对比输出的参数值是否相同
实验二：
1. 标准库函数的参数设置为 torch.nn.BatchNorm1d(linear1_features,momentum=None)
2. 自定义函数的参数设置为 MyBatchnorm1d(linear1_features,momentum=None)
3. 相同的输入，对比输出的参数值是否相同'''
test_demo = 1
if test_demo == 1:test_model = SimpleModel()test_model.load_state_dict(torch.load('debug_batchnorm.pth')['model'])test_model.train()for t,x in enumerate(dataset):y_pred = test_model(x)print('\n++++++++++  Norm output  ++++++++++++++++')for i,j in test_model.state_dict().items():print('++++',i)print('\t',j)debug_demo = 1
if debug_demo == 1:debug_model = DebugSimpleModel()#因为自定义的模型参数与标准模型的参数完全一样，所以把标准模型作为预训练的模型（即可以加载标准模型的训练后的参数作为自己的参数）debug_model.load_state_dict(torch.load('debug_batchnorm.pth')['model'])debug_model.train()for t,x in enumerate(dataset):y_pred = debug_model(x)print('\n++++++++++++ Mymodel Output ++++++++++++++')for i,j in debug_model.state_dict().items():print('++++',i)print('\t',j)

Pytorch中BatchNorm中running_mean和running_var的计算方法相关推荐

pytorch训练过程中loss出现NaN的原因及可采取的方法
在pytorch训练过程中出现loss=nan的情况 1.学习率太高. 2.loss函数 3.对于回归问题,可能出现了除0 的计算,加一个很小的余项可能可以解决 4.数据本身,是否存在Nan,可以用n ...
PyTorch 1.4 中文文档校对活动正式启动 | ApacheCN
一如既往,PyTorch 1.4 中文文档校对活动启动了! 认领须知请您勇敢地去翻译和改进翻译.虽然我们追求卓越,但我们并不要求您做到十全十美,因此请不要担心因为翻译上犯错--在大部分情况下,我们的 ...
PyTorch 1.2 中文文档校对活动 | ApacheCN
整体进度:https://github.com/apachecn/pytorch-doc-zh/issues/422 贡献指南:https://github.com/apachecn/pytorch- ...
Pytorch以及tensorflow中KLdivergence的计算
1. KL divergence是什么 KL 散度是一个距离衡量指标,衡量的是两个概率分布之间的差异. y p r e d y_{pred} ypred指的是模型的输出的预测概率,形如[0.35,0 ...
pytorch中Dataloader()中的num_workers设置问题
pytorch中Dataloader()中的num_workers设置问题: 如果num_workers的值大于0,要在运行的部分放进__main__()函数里,才不会有错: import numpy ...
Pytorch的BatchNorm层使用中容易出现的问题
前言本文主要介绍在pytorch中的Batch Normalization的使用以及在其中容易出现的各种小问题,本来此文应该归属于[1]中的,但是考虑到此文的篇幅可能会比较大,因此独立成篇,希望能够 ...
pytorch之BatchNorm
为了解决 Internal Covariate Shift问题引入,该问题具体表现为: 中间层输入分布总是变化,增加了模型拟合的难度. 中间层输入分布会使输出逐渐靠近激活函数梯度较小的地方,导致梯度消 ...
win10html5无法播放,win10系统中网页中无法播放视频怎么办
近日有win10系统用户要通过浏览器来打开网页观看视频的时候,却发现在网页中打开视频的时却无法播放,这是怎么回事呢,经过分析是由于Adobe Flash Player ActiveX插件未安装.版本过 ...
Oracle EBS R12 运行adadmin 安装中文语言包过程中意外中断后的处理
介绍Oracle EBS R12 运行adadmin 安装中文语言包过程中意外中断后的处. Oracle EBS R12 运行adadmin 安装中文语言包过程中意外中断或关机后,重新开机,运行数据库 ...
Python中sklearn中HistGradientBoostingRegressor回归器配置单调约束参数monotonic_cst提高回归模型的抗噪声以及局部扰动的能力
Python中sklearn中HistGradientBoostingRegressor回归器配置单调约束参数monotonic_cst提高回归模型的抗噪声以及局部扰动的能力目录

Pytorch中BatchNorm中running_mean和running_var的计算方法

Pytorch中BatchNorm中running_mean和running_var的计算方法相关推荐

最新文章

热门文章