<<小白学PyTorch>>

小白学PyTorch | 5 torchvision预训练模型与数据集全览

小白学PyTorch | 4 构建模型三要素与权重初始化

小白学PyTorch | 3 浅谈Dataset和Dataloader

小白学PyTorch | 2 浅谈训练集验证集和测试集

小白学PyTorch | 1 搭建一个超简单的网络

小白学PyTorch | 动态图与静态图的浅显理解

文章目录：

• 1 模型构建函数

• • 1.1 add_module

  • 1.2 ModuleList

  • 1.3 Sequential

  • 1.4 小总结

• 2 遍历模型结构

• • 2.1 modules()

  • 2.2 named_modules()

  • 2.3 parameters()

• 3 保存与载入

本文是对一些函数的学习。函数主要包括下面四个方便：

• 模型构建的函数：add_module,add_module,add_module

• 访问子模块：add_module,add_module,add_module，add_module

• 网络遍历：add_module,add_module

• 模型的保存与加载：add_module,add_module,add_module

1 模型构建函数

torch.nn.Module是所有网络的基类，在PyTorch实现模型的类中都要继承这个类（这个在之前的课程中已经提到）。在构建Module中，Module是一个包含其他的Module的，类似于，你可以先定义一个小的网络模块，然后把这个小模块作为另外一个网络的组件。因此网络结构是呈现树状结构。

我们先简单定义一个网络：

import torch.nn as nn
import torch
class MyNet(nn.Module):def __init__(self):super(MyNet,self).__init__()self.conv1 = nn.Conv2d(3,64,3)self.conv2 = nn.Conv2d(64,64,3)def forward(self,x):x = self.conv1(x)x = self.conv2(x)return x
net = MyNet()
print(net)

输出结果：MyNet中有两个属性conv1和conv2是两个卷积层，在正向传播forward的过程中，依次调用这两个卷积层实现网络的功能。

1.1 add_module

这种是最常见的定义网络的功能，在有些项目中，会看到这样的方法add_module。我们用这个方法来重写上面的网络：

class MyNet(nn.Module):def __init__(self):super(MyNet,self).__init__()self.add_module('conv1',nn.Conv2d(3,64,3))self.add_module('conv2',nn.Conv2d(64,64,3))def forward(self,x):x = self.conv1(x)x = self.conv2(x)return x

其实add_module(name,layer)和self.name=layer实现了相同的功能，个人感觉也许是因为add_module可以使用字符串来定义变量名字，所以可以放在循环中？反正这个先了解熟悉熟悉。

上面的两种方法都是一层一层的添加layer，如果网络复杂的话，那就需要写很多重复的代码了。因此接下来来讲解一下网络模块的构建,torch.nn.ModuleList和torch.nn.Sequential

1.2 ModuleList

ModuleList按照字面意思是用list的形式保存网络层的。这样就可以先将网络需要的layer构建好，保存到一个list，然后通过ModuleList方法添加到网络中.

class MyNet(nn.Module):def __init__(self):super(MyNet,self).__init__()self.linears = nn.ModuleList([nn.Linear(10,10) for i in range(5)])def forward(self,x):for l in self.linears:x = l(x)return x
net = MyNet()
print(net)

输出结果是：

这个ModuleList主要是用在读取config文件来构建网络模型中的，下面用VGG模型的构建为例子：

vgg_cfg = [64, 64, 'M', 128, 128, 'M', 256, 256, 256, 'C', 512, 512, 512, 'M',512, 512, 512, 'M']def vgg(cfg, i, batch_norm=False):layers = []in_channels = ifor v in cfg:if v == 'M':layers += [nn.MaxPool2d(kernel_size=2, stride=2)]elif v == 'C':layers += [nn.MaxPool2d(kernel_size=2, stride=2, ceil_mode=True)]else:conv2d = nn.Conv2d(in_channels, v, kernel_size=3, padding=1)if batch_norm:layers += [conv2d, nn.BatchNorm2d(v), nn.ReLU(inplace=True)]else:layers += [conv2d, nn.ReLU(inplace=True)]in_channels = vreturn layersclass Model1(nn.Module):def __init__(self):super(Model1,self).__init__()self.vgg = nn.ModuleList(vgg(vgg_cfg,3))def forward(self,x):for l in self.vgg:x = l(x)
m1 = Model1()
print(m1)

先读取网络结构的配置文件vgg_cfg然后根据这个文件创建对应的Layer list，然后使用ModuleList添加到网络中，这样可以快速创建不同的网络（用上面为例子的话，可以通过修改配置文件，然后快速修改网络结构 ）

1.3 Sequential

在一些自己做的小项目中，Sequential其实用的更为频繁。依然重写最初最简单的例子：

class MyNet(nn.Module):def __init__(self):super(MyNet,self).__init__()self.conv = nn.Sequential(nn.Conv2d(3,64,3),nn.Conv2d(64,64,3))def forward(self,x):x = self.conv(x)return x
net = MyNet()
print(net)

运行结果：

观察细致的朋友可以发现这个问题，Seqential内的网络层是默认用数字进行标号的，而一开始我们使用self.conv1和self.conv2的时候，使用conv1和conv2作为标号的。

我们如何修改Sequential中网络层的名称呢？这里需要使用到collections.OrderedDict有序字典。Sequential是支持有序字典构建的。

from collections import OrderedDict
class MyNet(nn.Module):def __init__(self):super(MyNet,self).__init__()self.conv = nn.Sequential(OrderedDict([('conv1',nn.Conv2d(3,64,3)),('conv2',nn.Conv2d(64,64,3))]))def forward(self,x):x = self.conv(x)return x
net = MyNet()
print(net)

输出结果：

1.4 小总结

• 单独增加一个网络层或者子模块，可以用add_module或者直接赋予属性；

• ModuleList可以将一个Module的List增加到网络中，自由度较高。

• Sequential按照顺序产生一个Module模块。这里推荐习惯使用OrderedDict的方法进行构建。对网络层加上规范的名称，这样有助于后续查找与遍历

2 遍历模型结构

本章节使用下面的方法进行遍历之前提到的Module。（个人理解，Module是多个layer的合并，但是一个layer可以说成Module。 ） 先定义一个网络吧，随便写一个：

import torch.nn as nn
import torch
from collections import OrderedDict
class MyNet(nn.Module):def __init__(self):super(MyNet,self).__init__()self.conv1 = nn.Conv2d(in_channels=3,out_channels=64,kernel_size=3)self.conv2 = nn.Conv2d(64,64,3)self.maxpool1 = nn.MaxPool2d(2,2)self.features = nn.Sequential(OrderedDict([('conv3', nn.Conv2d(64,128,3)),('conv4', nn.Conv2d(128,128,3)),('relu1', nn.ReLU())]))def forward(self,x):x = self.conv1(x)x = self.conv2(x)x = self.maxpool1(x)x = self.features(x)return x
net = MyNet()
print(net)

输出结果是：

2.1 modules()

在第四课中初始化模型各个层的参数的时候，用到了这个方法，现在我们再来理解一下：

for idx,m in enumerate(net.modules()):print(idx,"-",m)

运行结果：

上面那个网络构建的时候用到了Sequential，所以网络中其实是嵌套了一个小的Module，这就是之前提到的树状结构,然后上面便利的时候也是树状结构的便利过程，可以看出来应该是一个深度遍历的过程。

• 首先第一个输出的是最大的那个Module，也就是整个网络，0-Model整个网络模块；

• 1-2-3-4是网络的四个子模块，4-Sequential中间仍然包含子模块

• 5-6-7是模块4-Sequential的子模块。

【总结】

modules()是递归的返回网络的各个module（深度遍历），从最顶层直到最后的叶子的module。

2.2 named_modules()

named_modules()和module()类似，只是同时返回name和module。

for idx,(name,m) in enumerate(net.named_modules()):print(idx,"-",name)

输出结果：

2.3 parameters()

for p in net.parameters():print(type(p.data),p.size())

运行结果：

输出的是四个卷积层的权重矩阵参数和偏置参数。值得一提的是，对网络进行训练时需要将parameters()作为优化器optimizer的参数。

optimizer = torch.optim.SGD(net.parameters(),lr = 0.001,momentum=0.9)

总之呢，这个parameters()是返回网络所有的参数，主要用在给optimizer优化器用的。而要对网络的某一层的参数做处理的时候，一般还是使用named_parameters()方便一些。

for idx,(name,m) in enumerate(net.named_parameters()):print(idx,"-",name,m.size())

输出结果：

【小扩展】

我个人有时会使用下面的方法来获取参数：

for idx,(name,m) in enumerate(net.named_modules()):if isinstance(m,nn.Conv2d):print(m.weight.shape)print(m.bias.shape)

先判断是否是卷积层，然后获取其参数，输出结果：

3 保存与载入

PyTorch使用torch.save和torch.load方法来保存和加载网络，而且网络结构和参数可以分开的保存和加载。

torch.save(model,'model.pth') # 保存
model = torch.load("model.pth") # 加载

pytorch中网络结构和模型参数是可以分开保存的。上面的方法是两者同时保存到了.pth文件中，当然，你也可以仅仅保存网络的参数来减小存储文件的大小。注意：如果你仅仅保存模型参数，那么在载入的时候，是需要通过运行代码来初始化模型的结构的。

torch.save(model.state_dict(),"model.pth") # 保存参数
model = MyNet() # 代码中创建网络结构
params = torch.load("model.pth") # 加载参数
model.load_state_dict(params) # 应用到网络结构中

至此，我们今天已经学习了不少的内容，大家对PyTorch的掌握更近一步了呢~

- END -

往期精彩回顾适合初学者入门人工智能的路线及资料下载机器学习及深度学习笔记等资料打印机器学习在线手册深度学习笔记专辑《统计学习方法》的代码复现专辑
AI基础下载机器学习的数学基础专辑获取一折本站知识星球优惠券，复制链接直接打开：https://t.zsxq.com/662nyZF本站qq群1003271085。加入微信群请扫码进群（如果是博士或者准备读博士请说明）：