关于pytorch中super的一点思考，结合代码

class ResidualAdd(nn.Module):def __init__(self, fn):super().__init__()#inherit fa class's init methodself.fn = fndef forward(self, x, **kwargs):res = xx = self.fn(x, **kwargs)x += resreturn x
#该类必须定义成员函数，不然在TransformerEncoderBlock调用父类的forward方法时会报错。class FeedForwardBlock(nn.Sequential):def __init__(self, emb_size: int, expansion: int = 4, drop_p: float = 0.):super().__init__(nn.Linear(emb_size, expansion * emb_size),nn.GELU(),nn.Dropout(drop_p),nn.Linear(expansion * emb_size, emb_size),)#这里 FeedForwardBlock类的父类为nn.Sequential，且通过super().__init__()显示调用了父类的初
#始化方法，因此继承了分类的属性和方法，因此在使用的时候，即使FeedForwardBlock没有显示定义方法函
#数，也可以调用父类的forward方法。class TransformerEncoderBlock(nn.Sequential):def __init__(self,emb_size: int = 768,drop_p: float = 0.,forward_expansion: int = 4,forward_drop_p: float = 0.,** kwargs):super().__init__(ResidualAdd(nn.Sequential(nn.LayerNorm(emb_size),MultiHeadAttention(emb_size, **kwargs),nn.Dropout(drop_p))),ResidualAdd(nn.Sequential(nn.LayerNorm(emb_size),FeedForwardBlock(emb_size, expansion=forward_expansion, drop_p=forward_drop_p),nn.Dropout(drop_p))))#这里稍显复杂，主要是ResidualAdd里的nn.Sequential具有迷惑性，这里的nn.Sequential与
#TransformerEncorderBlock的父类没有太多关联含义，这里在使用时，先初始化一个ResidualAdd对象，
#然后，由于这里TransformerEncorderBlock仍然显示调用了父类的初始化方法，因此，继承了父类的属性
#和方法，在使用的时候会调用nn.Squential里的forward方法。class Sequential(Module):def __init__(self, *args: Any):super(Sequential, self).__init__()if len(args) == 1 and isinstance(args[0], OrderedDict):for key, module in args[0].items():self.add_module(key, module)else:for idx, module in enumerate(args):self.add_module(str(idx), module)def forward(self, input):for module in self:input = module(input)return input#关于父类nn.Sequential主要部分的代码，我们可以看出，其初始化参数是实例化对象，因此每个实例化对象
#的类都须有forward函数，不然在input = module(input)时就会报错，这也是为什么ResidualAdd必
#须有forward的原因

参考：https://blog.csdn.net/ZEdwin/article/details/117296675
让python类直接被调用_csldh的博客-CSDN博客_python直接调用类
https://blog.csdn.net/a__int__/article/details/104600972

关于pytorch中super的一点思考，结合代码相关推荐

PyTorch中Super( )函数是什么
刚刚入门PyTorch,官方demo中有个函数叫super(),代码如下: class LeNet(nn.Module):def __init__(self):super(LeNet, self)._ ...
【深度学习理论】一文搞透pytorch中的tensor、autograd、反向传播和计算图
转载:https://zhuanlan.zhihu.com/p/145353262 前言本文的主要目标: 一遍搞懂反向传播的底层原理,以及其在深度学习框架pytorch中的实现机制.当然一遍搞不定两 ...
pytorch中Parameter()介绍
用法介绍 pytorch中的Parameter函数可以对某个张量进行参数化.它可以将不可训练的张量转化为可训练的参数类型,同时将转化后的张量绑定到模型可训练参数的列表中,当更新模型的参数时一并将其更 ...
PyTorch中如何使用tensorboard可视化
PyTorch中如何使用tensorboard可视化调用代码: from logger
mysql 手动写时间_关于数据库中如何存储时间的一点思考
1.切记不要用字符串存储日期我记得我在大学的时候就这样干过,而且现在很多对数据库不太了解的新手也会这样干,可见,这种存储日期的方式的优点还是有的,就是简单直白,容易上手. 但是,这是不正确的做法,主 ...
关于Pytorch中dim使用的一点记录
pytorch的许多函数,例如torch.cat().torch.max().torch.mul()等,都包含了dim参数.关于dim这个函数,我想许多人跟我一样,一知半解,比较模糊,下面我就把自己关 ...
WPF中显示CAD图形的一点思考
文章目录 1.GIS图形的显示 2.CAD图形显示 3.思考项目中使用WPF做了一个GIS图形和CAD详图的关联工具,为了让用户在关联的过程中能更准确的识别要关联的CAD图形和GIS图形,做了一个图 ...
PyTorch中模型的可复现性
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达本文转自:AI算法与图像处理在深度学习模型的训练过程中,难免引入 ...
关于PyTorch中的register_forward_hook()函数未能执行其中hook函数的问题
关于PyTorch中的register_forward_hook()函数未能执行其中hook函数的问题 Hook 是 PyTorch 中一个十分有用的特性.利用它,我们可以不必改变网络输入输出的结构, ...

关于pytorch中super的一点思考，结合代码

关于pytorch中super的一点思考，结合代码相关推荐

最新文章

热门文章