归一化EvoNorms

EvoNorms_PyTorch

https://github.com/lonePatient/EvoNorms_PyTorch

原版说精度提升了一个多点，但是内存占用比原来大了很多，也变慢了

import torch
import torch.nn as nn
from torch.nn import init
from torch.nn.parameter import Parameterdef instance_std(x, eps=1e-5):N,C,H,W = x.size()x1 = x.reshape(N*C,-1)var = x1.var(dim=-1, keepdim=True)+epsreturn var.sqrt().reshape(N,C,1,1)def group_std(x, groups, eps = 1e-5):N, C, H, W = x.size()x1 = x.reshape(N,groups,-1)var = (x1.var(dim=-1, keepdim = True)+eps).reshape(N,groups,-1)return (x1 / var.sqrt()).reshape(N,C,H,W)class BatchNorm2dRelu(nn.Module):def __init__(self,in_channels):super(BatchNorm2dRelu,self).__init__()self.layer = nn.Sequential(nn.BatchNorm2d(in_channels),nn.ReLU(inplace=True))def forward(self, x):output = self.layer(x)return outputclass EvoNorm2dB0(nn.Module):def __init__(self,in_channels,nonlinear=True,momentum=0.9,eps = 1e-5):super(EvoNorm2dB0, self).__init__()self.nonlinear = nonlinearself.momentum = momentumself.eps = epsself.gamma = Parameter(torch.Tensor(1,in_channels,1,1))self.beta = Parameter(torch.Tensor(1,in_channels,1,1))if nonlinear:self.v = Parameter(torch.Tensor(1,in_channels,1,1))self.register_buffer('running_var', torch.ones(1, in_channels, 1, 1))self.reset_parameters()def reset_parameters(self):init.ones_(self.gamma)init.zeros_(self.beta)if self.nonlinear:init.ones_(self.v)def forward(self, x):N, C, H, W = x.size()if self.training:x1 = x.permute(1, 0, 2, 3).reshape(C, -1)var = x1.var(dim=1).reshape(1, C, 1, 1)self.running_var.copy_(self.momentum * self.running_var + (1 - self.momentum) * var)else:var = self.running_varif self.nonlinear:den = torch.max((var+self.eps).sqrt(), self.v * x + instance_std(x))return x / den * self.gamma + self.betaelse:return x * self.gamma + self.betaclass EvoNorm2dS0(nn.Module):def __init__(self,in_channels,groups=8,nonlinear=True):super(EvoNorm2dS0, self).__init__()self.nonlinear = nonlinearself.groups = groupsself.gamma = Parameter(torch.Tensor(1,in_channels,1,1))self.beta = Parameter(torch.Tensor(1,in_channels,1,1))if nonlinear:self.v = Parameter(torch.Tensor(1,in_channels,1,1))self.reset_parameters()def reset_parameters(self):init.ones_(self.gamma)init.zeros_(self.beta)if self.nonlinear:init.ones_(self.v)def forward(self, x):if self.nonlinear:num = torch.sigmoid(self.v * x)std = group_std(x,self.groups)return num * std * self.gamma + self.betaelse:return x * self.gamma + self.beta

归一化EvoNorms相关推荐

超越BN-ReLU！谷歌大脑等提出EvoNorms：归一化激活层的进化
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达本文转载自:机器之心 | 作者:Hanxiao Liu等最近,谷 ...
归一化激活层的进化：谷歌Quoc Le等人利用AutoML 技术发现新型ML模块
关注上方"深度学习技术前沿",选择"星标公众号", 资源干货,第一时间送达! 最近,谷歌大脑团队和 DeepMind 合作发布了一篇论文,利用 AutoML 技 ...
pytorch 归一化_用PyTorch进行语义分割
点击上方"机器学习与生成对抗网络",关注"星标" 获取有趣.好玩的前沿干货! 木易发自凹非寺量子位报道 | 公众号 QbitAI 很久没给大家带来教程 ...
关于使用sklearn进行数据预处理 —— 归一化/标准化/正则化
20220121 z-score标准化模型存储和load再调用其实没有关系再load计算的时候,也是以实际的数据重新计算并不是以save模型的边界来计算的 20211227 onehot训练集保 ...
一篇文章告诉你标准化和归一化的区别？
一篇文章告诉你标准化和归一化的区别? 2019-02-28 17:12:39 融融网融融网阅读量:484 进一步推进企业的标准化工作,使之发展水平适应经济全球化下市场竞争的要求,促进企业综合实力的提升 ...
机器学习——标准化/归一化的目的、作用和场景
对每个特征进行归一化处理,使得每个特征的取值缩放到0~1之间.这样做有两个好处: 模型训练更高效. 特征前的权重大小可代表该变量对预测结果的贡献度(因为每个特征值本身的范围相同). (一)归一化的作用 ...
机器学习入门（13）— Affine 仿射层、Softmax 归一化指数函数层实现
1. 一维 Affine 仿射层我们回顾下之前为了计算加权信号的总和,使用了矩阵的乘积运算 NumPy 中是 np.dot() , 参照代码如下: In [7]: X = np.random.ran ...
批标准归一化（Batch Normalization）解析
1,背景网络一旦train起来,那么参数就要发生更新,除了输入层的数据外(因为输入层数据,我们已经人为的为每个样本归一化),后面网络每一层的输入数据分布是一直在发生变化的,因为在训练的时候,前面层训 ...
AlexNet中的局部响应归一化（LRN）
1,简介局部响应归一化(Local Response Normalization,LRN),提出于2012年的AlexNet中.首先要引入一个神经生物学的概念:侧抑制(lateral inhibit ...

归一化EvoNorms

归一化EvoNorms相关推荐

最新文章

热门文章