在介绍nn.Sequential和nn.ModuleDict之前，我们需要知道在pytorch构建的model核心是nn.Module模块，下面举个例子

class model(nn.Module):def __init__(self):super(Model, self).__init__()self.conv = nn.Conv2d(3, 20, 5)def forward(self, x):x = F.relu(conv(x))return x

在了解这个基本概念之后，我们分别介绍这两个模块

nn.Sequential

nn.Sequential继承自nn.Module模块，因此他自带forward函数，下面我们看一个例子

model = nn.Sequential(nn.Conv2d(1,20,5),nn.ReLU(),nn.Conv2d(20,64,5),nn.ReLU())
print(model)
'''
Sequential((0): Conv2d(1, 20, kernel_size=(5, 5), stride=(1, 1))(1): ReLU()(2): Conv2d(20, 64, kernel_size=(5, 5), stride=(1, 1))(3): ReLU()
)
'''# 给每一步的模块进行命名
model = nn.Sequential(OrderedDict([('conv1', nn.Conv2d(1,20,5)),('relu1', nn.ReLU()),('conv2', nn.Conv2d(20,64,5)),('relu2', nn.ReLU())]))
print(model)
'''
Sequential((conv1): Conv2d(1, 20, kernel_size=(5, 5), stride=(1, 1))(relu1): ReLU()(conv2): Conv2d(20, 64, kernel_size=(5, 5), stride=(1, 1))(relu2): ReLU()
)
'''input = torch.randn([1, 1, 10, 10])
output = model(input)
print(output.size()) # torch.Size([1, 64, 2, 2])

如上所示，我们可以得到一些结论

在nn.Sequential里面的每一个操作是逐步执行的，不可改变顺序，如果第一步的输出与第二步的输入不匹配就会报错
可以通过OrderedDict来改变nn.Sequential里面每一步的名字。注意，即使改变了名字，索引时也需要用0,1,2…，例如model[0]=Conv2d(1, 20, kernel_size=(5, 5), stride=(1, 1)，model[‘conv1’]会报错

nn.ModuleList

nn.ModuleDict没有继承自nn.Module，所以不能像nn.Sequential那样有forward功能。可以将其看做一个列表的形式，能够将多个操作存放在一个列表里

class MyModule(nn.Module):def __init__(self):super(MyModule, self).__init__()self.linears = nn.ModuleList([nn.Linear(10, 10) for i in range(10)])def forward(self, x):# ModuleList can act as an iterable, or be indexed using intsfor i, l in enumerate(self.linears):x = self.linears[i](x)return xmodel = MyModule()
input = torch.randn([1, 10])
output = model(input)
print(output.size())  # torch.Size([1, 10])

如上所示，这里总结nn.ModelList的一些特点

nn.ModelList是单纯的列表形式，当我们想快速构建一些操作（例如例子中的linear操作时，可以使用modellist）
nn.ModelList不具备forward功能，所以我们调用里面的操作时，需要进行索引，然后才能运行这个操作
nn.ModelList列表内的操作可以是乱序的，比如我先用list[3]，再用list[0]，而nn.Sequential的执行顺序不能打乱

为什么不能用python中的list来代替nn.ModelList呢？

因为nn.ModelList可以将里面的列表操作自动注册到整个网络中，但是如果是python的list，则会出问题，如下

class net_modlist(nn.Module):def __init__(self):super(net_modlist, self).__init__()self.modlist = nn.ModuleList([nn.Conv2d(1, 20, 5),nn.Conv2d(20, 64, 5),])def forward(self, x):for m in self.modlist:x = m(x)return xmodel = net_modlist()
for param in model.parameters():print(type(param.data), param.size())'''
nn.ModuleList
<class 'torch.Tensor'> torch.Size([20, 1, 5, 5])
<class 'torch.Tensor'> torch.Size([20])
<class 'torch.Tensor'> torch.Size([64, 20, 5, 5])
<class 'torch.Tensor'> torch.Size([64])将nn.ModuleList换为单纯的list
None # 输出为None，表示conv操作并没有加入到模型参数中
'''

nn.Sequential nn.ModuleList相关推荐

43_pytorch nn.Module,模型的创建,构建子模块,API介绍,Sequential(序号),ModuleList,ParameterList,案例等（学习笔记）
1.40.PyTorch nn.Module 1.40.1.模型的创建 1.40.2.构建子模块 1.40.3.nn.Module API介绍 1.40.3.1.核心功能 1.40.3.2.查看模块 ...
nn.Sequential与nn.ModuleList
1.nn.Sequential 模块按照顺序进行排列的,确保输入与输出模块的通道数相同(实际上是feature map数量). nn.Sequential写法有3种: 第一种写法: 创建nn.Sequ ...
pytorch模型容器Containers nn.ModuleDict、nn.moduleList、nn.Sequential
模型容器Containers之nn.ModuleDict.nn.moduleList.nn.Sequential nn.Sequential()对象建立nn.Sequential()对象,必须小心确 ...
nn.Sequential()
nn.Sequential nn.Sequential()介绍 Pytorch官网举例 nn.Sequential()的本质作用 nn.Sequential()源码 nn.Sequential()介绍 ...
【深度学习】torch.nn.Sequential方法介绍
torch.nn.Sequential是一个Sequential容器,模块将按照构造函数中传递的顺序添加到模块中. 另外,也可以传入一个有序模块. 作用:Sequential除了本身可以用来定义模型之 ...
pytorch 学习笔记：nn.Sequential构造神经网络
1 两种等价的构造方式 1.1 构建Net类: 1.2 使用torch.nn.Sequential nn.Sequential里面的模块按照顺序进行排列的,所以必须确保前一个模块的输出大小和下一个模块 ...
Lesson 16.1016.1116.1216.13 卷积层的参数量计算，1x1卷积核分组卷积与深度可分离卷积全连接层 nn.Sequential全局平均池化，NiN网络复现
二架构对参数量/计算量的影响在自建架构的时候,除了模型效果之外,我们还需要关注模型整体的计算效率.深度学习模型天生就需要大量数据进行训练,因此每次训练中的参数量和计算量就格外关键,因此在设计卷积网 ...
pytorch torch.nn.Sequential(* args)（嘎哈用的？构建神经网络用的？）
class torch.nn.Sequential(* args) 一个时序容器.Modules 会以他们传入的顺序被添加到容器中.当然,也可以传入一个OrderedDict. 为了更容易的理解如何使 ...
pytorch：nn.Sequential讲解
接下来想讲一下参数初始化方式对训练的影响,但是必须要涉及到pytorch的自定义参数初始化,然而参数初始化又包括在不同结构定义中初始化方式,因而先讲一下pytorch中的nn.Sequential n ...

nn.Sequential nn.ModuleList

nn.Sequential

nn.ModuleList

nn.Sequential nn.ModuleList相关推荐

最新文章

热门文章