nn.Sequential与nn.ModuleList

1、nn.Sequential

模块按照顺序进行排列的，确保输入与输出模块的通道数相同（实际上是feature map数量）。

nn.Sequential写法有3种：

第一种写法：

创建nn.Sequential()对象并用add_module方法添加

  self.con2=nn.Sequential()self.con2.add_module('conv',nn.Conv2d(16,32,3,1,1))self.con2.add_module('relu',nn.ReLU())self.con2.add_module('bn',nn.BatchNorm2d(32))self.con2.add_module('pool',nn.MaxPool2d(2,2))

第二种写法：

nn.Sequential(*多个层class的实例)

self.con1=nn.Sequential(nn.Conv2d(3,16,3,1,1),nn.ReLU(),nn.BatchNorm2d(16),nn.MaxPool2d(2,2))

第三种写法：

nn.Sequential(OrderedDict([*多个(层名，层class的实例)]))

  self.con3=nn.Sequential(OrderedDict([('con',nn.Conv2d(32,64,3,1,1)),('bn',nn.BatchNorm2d(64)),('relu',nn.ReLU()),('pool',nn.MaxPool2d(2,2))]))

2、nn.ModuleList

nn.ModuleList仅仅类似于pytho中的list类型，只是将一系列层装入列表，并没有实现forward()方法，因此也不会有网络模型产生的副作用。nn.ModuleList接受的必须是subModule类型，即不管ModuleList包裹了多少个列表，内嵌的所有列表的内部都要是可迭代的Module的子类。参考

 #列表需要遍历self.liner=nn.ModuleList([nn.Linear(64*56*56,1000),nn.Linear(1000,1000),nn.Linear(1000,10)])for liner in self.liner:ly4=liner(ly4)

3、nn.Sequential与nn.ModuleList的区别

不同点1：

nn.Sequential内部实现了forward函数，因此可以不用写forward函数。而nn.ModuleList则没有实现内部forward函数。

不同点2：

nn.Sequential可以使用OrderedDict对每层进行命名

不同点3：

nn.Sequential里面的模块按照顺序进行排列的，所以必须确保前一个模块的输出大小和下一个模块的输入大小是一致的。而nn.ModuleList 并没有定义一个网络，它只是将不同的模块储存在一起，这些模块之间并没有什么先后顺序可言。

不同点4：

有的时候网络中有很多相似或者重复的层，我们一般会考虑用 for 循环来创建它们，而不是一行一行地写

查看Pytorch网络的各层输出(feature map)、权重(weight)、偏置(bias)

综上代码如下：

import torch.nn as nn
import torch
from collections import OrderedDict
import cv2
import matplotlib.pyplot as plt
import numpy as npclass mytest(nn.Module):def __init__(self):super(mytest, self).__init__()#第一种写法self.con1=nn.Sequential(nn.Conv2d(3,16,3,1,1),nn.ReLU(),nn.BatchNorm2d(16),nn.MaxPool2d(2,2))# 第二种写法self.con2=nn.Sequential()self.con2.add_module('conv',nn.Conv2d(16,32,3,1,1))self.con2.add_module('relu',nn.ReLU())self.con2.add_module('bn',nn.BatchNorm2d(32))self.con2.add_module('pool',nn.MaxPool2d(2,2))# 第三种写法self.con3=nn.Sequential(OrderedDict([('con',nn.Conv2d(32,64,3,1,1)),('bn',nn.BatchNorm2d(64)),('relu',nn.ReLU()),('pool',nn.MaxPool2d(2,2))]))#列表需要遍历self.liner=nn.ModuleList([nn.Linear(64*56*56,1000),nn.Linear(1000,1000),nn.Linear(1000,10)])# self.liner = nn.Linear(64 * 56 * 56, 1000)def forward(self,x):ly1=self.con1(x)ly2=self.con2(ly1)ly3=self.con3(ly2)ly4=ly3.view(ly3.size()[0],-1)# x=self.liner[0](x)for liner in self.liner:ly4=liner(ly4)return ly1,ly2,ly3,ly4#返回各层结果x=torch.randn(2,3,448,448)
model=mytest()
_,_,_,pred=model(x)
print(pred.shape)
print(model.con1[0])
print(model.con2.pool)
print(model.con3[0])
print(model.con3.relu)
print(model.liner[0])#https://blog.csdn.net/xwmwanjy666/article/details/100927858
img0=cv2.imread('D:/data/testpic/3.jpg')
print(img0.shape)
img=cv2.resize(img0,(448,448))
input=torch.tensor(img).float()#必须转为float类型的数据
input=input.permute(2,0,1)
input=input.unsqueeze(0)#相当于增加一个batch维度
print(input.shape)ly1,ly2,ly3,ly4=model(input)#各层的shape
print(ly1.shape)
print(ly2.shape)
print(ly3.shape)
print(ly4.shape)#各层部分特征图
plt.subplot(3,2,1)
img1_1=ly1.squeeze(0).permute(1,2,0).detach().numpy()
img1_1=img1_1[:,:,:3]#取3个通道显示
# img1_1=img1_1[:,:,0]
# img = np.ascontiguousarray(img, dtype=np.float32)
plt.title("conv1:feature map1")
plt.imshow(img1_1)plt.subplot(3,2,2)
img1_2=ly1.squeeze(0).permute(1,2,0).detach().numpy()
img1_2=img1_2[:,:,3:6]
plt.title("conv1:feature map2")
plt.imshow(img1_2)plt.subplot(3,2,3)
img2_1=ly2.squeeze(0).permute(1,2,0).detach().numpy()
img2_1=img2_1[:,:,:3]
plt.title("conv2:feature map1")
plt.imshow(img2_1)plt.subplot(3,2,4)
img2_2=ly2.squeeze(0).permute(1,2,0).detach().numpy()
img2_2=img2_2[:,:,3:6]
plt.title("conv2:feature map2")
plt.imshow(img2_2)plt.subplot(3,2,5)
img3_1=ly3.squeeze(0).permute(1,2,0).detach().numpy()
img3_1=img3_1[:,:,:3]
plt.title("conv3:feature map1")
plt.imshow(img3_1)plt.subplot(3,2,6)
img3_2=ly3.squeeze(0).permute(1,2,0).detach().numpy()
img3_2=img3_2[:,:,3:6]
plt.title("conv3:feature map2")
plt.imshow(img3_2)#
# plt.imshow(img0)plt.show()

各卷积层特征图

参考：

https://blog.csdn.net/e01528/article/details/84397174

https://zhuanlan.zhihu.com/p/75206669