BigGAN代码解读(gpt4.0的帮助)——谱正则化部分

作者个人记录学习

BigGAN中使用谱归一化对训练过程进行优化，在github中的代码中，使用了自己编写的谱归一化对卷积层、线性层以及Embedding层进行重写，下面对这部分重写进行解读。
代码网址：点赞最高的BigGAN代码

在这片代码中说自己是officially unoffcail，不是很理解

谱归一化代码如下（英文为原本注释，中文为作者后续理解注释）：

# Spectral normalization base class
class SN(object):def __init__(self, num_svs, num_itrs, num_outputs, transpose=False, eps=1e-12):# Number of power iterations per step# 幂迭代的迭代次数,幂迭代用于估计特征值self.num_itrs = num_itrs# Number of singular values# 想要估计的特征值数量self.num_svs = num_svs# Transposed?self.transpose = transpose# Epsilon value for avoiding divide-by-0self.eps = eps# Register a singular vector for each svfor i in range(self.num_svs):# 缓冲区# 特征向量self.register_buffer('u%d' % i, torch.randn(1, num_outputs))# 特征值self.register_buffer('sv%d' % i, torch.ones(1))# Singular vectors (u side)# 保存特征向量@propertydef u(self):return [getattr(self, 'u%d' % i) for i in range(self.num_svs)]# Singular values;# note that these buffers are just for logging and are not used in training.# 保存特征值@propertydef sv(self):return [getattr(self, 'sv%d' % i) for i in range(self.num_svs)]# Compute the spectrally-normalized weightdef W_(self):W_mat = self.weight.view(self.weight.size(0), -1)if self.transpose:W_mat = W_mat.t()# Apply num_itrs power iterationsfor _ in range(self.num_itrs):svs, us, vs = power_iteration(W_mat, self.u, update=self.training, eps=self.eps) # Update the svsif self.training:with torch.no_grad(): # Make sure to do this in a no_grad() context or you'll get memory leaks!for i, sv in enumerate(svs):self.sv[i][:] = sv  # 返回谱归一化的权重矩阵,即原权重矩阵除以最大特征值的近似值return self.weight / svs[0]

这部分代码用于谱正则化，主要的函数W_首先计算权重矩阵的特征值的近似值，计算方法为幂迭代，之后使用原本的权重矩阵除以最大的特征值，并返回调整之后的权重矩阵。

重写的卷积层、线性层、Embedding层代码：

# 2D Conv layer with spectral norm
class SNConv2d(nn.Conv2d, SN):# 继承自nn.Conv2d, SNdef __init__(self, in_channels, out_channels, kernel_size, stride=1,padding=0, dilation=1, groups=1, bias=True, num_svs=1, num_itrs=1, eps=1e-12):nn.Conv2d.__init__(self, in_channels, out_channels, kernel_size, stride, padding, dilation, groups, bias)SN.__init__(self, num_svs, num_itrs, out_channels, eps=eps)    def forward(self, x):# self.W_()来源于谱归一化后的权重return F.conv2d(x, self.W_(), self.bias, self.stride, self.padding, self.dilation, self.groups)# 线性层和embedding层和卷积层一样
# Linear layer with spectral norm
class SNLinear(nn.Linear, SN):def __init__(self, in_features, out_features, bias=True,num_svs=1, num_itrs=1, eps=1e-12):nn.Linear.__init__(self, in_features, out_features, bias)SN.__init__(self, num_svs, num_itrs, out_features, eps=eps)def forward(self, x):return F.linear(x, self.W_(), self.bias)# Embedding layer with spectral norm
# We use num_embeddings as the dim instead of embedding_dim here
# for convenience sake
class SNEmbedding(nn.Embedding, SN):def __init__(self, num_embeddings, embedding_dim, padding_idx=None, max_norm=None, norm_type=2, scale_grad_by_freq=False,sparse=False, _weight=None,num_svs=1, num_itrs=1, eps=1e-12):nn.Embedding.__init__(self, num_embeddings, embedding_dim, padding_idx,max_norm, norm_type, scale_grad_by_freq, sparse, _weight)SN.__init__(self, num_svs, num_itrs, num_embeddings, eps=eps)def forward(self, x):return F.embedding(x, self.W_())

以卷积层为例，新的卷积层继承了谱归一化类与原本的nn.Conv2d类，就是将nn.Conv2d中的self.weight权重矩阵经过SN的处理，返回的新权重矩阵，在forward函数中，同其他nn.Conv2d原本的参数，例如self.bias, self.stride，一同输入给F.conv2d，形成一个经过谱归一化的二维卷积，后面两个重写也为同理。

感谢gpt4.0帮我看懂。

BigGAN代码解读(gpt3.5的帮助)——谱正则化部分相关推荐

BigGAN代码解读(gpt3.5帮助)——生成器部分
代码来源于Github中点赞最多的BigGAN复现作者个人学习记录 BigGAN的生成器代码内部引用了代码人员编写的谱正则化(SN)以及批正则化(BN),关于这部分的解读地址在这里: 批正则化谱正 ...
jsoup获得css,Jsoup代码解读之五-实现一个CSS Selector
Jsoup代码解读之七-实现一个CSS Selector 当当当!终于来到了Jsoup的特色:CSS Selector部分.selector也是我写的爬虫框架webmagic开发的一个重点.附上一张s ...
Jsoup代码解读之一-概述
转载自 Jsoup代码解读之一-概述今天看到一个用python写的抽取正文的东东,美滋滋的用Java实现了一番,放到了webmagic里,然后发现Jsoup里已经有了-觉得自己各种不靠谱啊!算了 ...
VGAE（Variational graph auto-encoders）论文及代码解读
一,论文来源论文pdf Variational graph auto-encoders 论文代码 github代码二,论文解读理论部分参考: Variational Graph Auto-Enc ...
类ChatGPT逐行代码解读(2/2)：从零起步实现ChatLLaMA和ColossalChat
本文为<类ChatGPT逐行代码解读>系列的第二篇,上一篇是:如何从零起步实现Transformer.ChatGLM 本文两个模型的特点是加了RLHF 第六部分 LLaMA的RLHF版:C ...
200行代码解读TDEngine背后的定时器
作者 | beyondma来源 | CSDN博客导读:最近几周,本文作者几篇有关陶建辉老师最新的创业项目-TdEngine代码解读文章出人意料地引起了巨大的反响,原以为C语言已经是昨日黄花,不过从读 ...
装逼一步到位！GauGAN代码解读来了
↑↑↑关注后"星标"Datawhale 每日干货 & 每月组队学习,不错过 Datawhale干货作者:游璐颖,福州大学,Datawhale成员 AI神笔马良如何装逼一 ...
Unet论文解读代码解读
论文地址:http://www.arxiv.org/pdf/1505.04597.pdf 论文解读网络架构: a.U-net建立在FCN的网络架构上,作者修改并扩大了这个网络框架,使其能够使用很少 ...
Lossless Codec---APE代码解读系列(二)
APE file 一些概念 APE代码解读系列(一) APE代码解读系列(三) 1. 先要了解APE compression level APE主要有5level, 分别是: CompressionL ...

BigGAN代码解读(gpt3.5的帮助)——谱正则化部分

BigGAN代码解读(gpt4.0的帮助)——谱正则化部分

作者个人记录学习

谱归一化代码如下（英文为原本注释，中文为作者后续理解注释）：

重写的卷积层、线性层、Embedding层代码：

BigGAN代码解读(gpt3.5的帮助)——谱正则化部分相关推荐

最新文章

热门文章