PyTorch学习笔记（10）–搭建简单的神经网络以及Sequential的使用

本博文是PyTorch的学习笔记，第10次内容记录，主要搭建一个简单的神经网络，并介绍Sequential的使用。

1.Sequential是什么

Sequential是一个时序容器。Modules 会以他们传入的顺序被添加到容器中。包含在PyTorch官网中torch.nn模块中的Containers中，在神经网络搭建的过程中如果使用Sequential，代码更简洁。

2.Sequential使用

2.1一个简单神经网络的搭建

现以下列神经网络的搭建为例，输入图像是3通道的32×32的，先后经过卷积层(5×5的卷积核)、最大池化层(2×2的池化核)、卷积层(5×5的卷积核)、最大池化层(2×2的池化核)、卷积层(5×5的卷积核)、最大池化层(2×2的池化核)、拉直、全连接层的处理，最后输出的大小为10。

搭建上述神经网络的具体代码如下：

# coding ：UTF-8
# 文件功能： 代码实现搭建神经网络，并结合Sequential的使用
# 开发人员： dpp
# 开发时间： 2021/8/17 11:31 下午
# 文件名称： nn_sequential.py
# 开发工具： PyCharm
import torch
from torch import nn
from torch.nn import Conv2d, MaxPool2d, Flatten, Linearclass Test(nn.Module):def __init__(self):super(Test, self).__init__()self.conv1 = Conv2d(in_channels=3, out_channels=32, kernel_size=5, padding=2)self.maxpool1 = MaxPool2d(kernel_size=2)self.conv2 = Conv2d(in_channels=32, out_channels=32, kernel_size=5, padding=2)self.maxpool2 = MaxPool2d(kernel_size=2)self.conv3 = Conv2d(in_channels=32, out_channels=64, kernel_size=5, padding=2)self.maxpool3 = MaxPool2d(kernel_size=2)self.flatten = Flatten()self.linear1 = Linear(1024, 64)self.linear2 = Linear(64, 10)def forward(self, x):x = self.conv1(x)x = self.maxpool1(x)x = self.conv2(x)x = self.maxpool2(x)x = self.conv3(x)x = self.maxpool3(x)x = self.flatten(x)x = self.linear1(x)x = self.linear2(x)return xtest = Test()
print(test)  # 输出网络的结构情况input = torch.ones((64, 3, 32, 32))
output = test(input)
print(output.shape)  # 输出output的尺寸

输入数据是64张3通道的32×32的全1图像，输出结果如下：

Test((conv1): Conv2d(3, 32, kernel_size=(5, 5), stride=(1, 1), padding=(2, 2))(maxpool1): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)(conv2): Conv2d(32, 32, kernel_size=(5, 5), stride=(1, 1), padding=(2, 2))(maxpool2): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)(conv3): Conv2d(32, 64, kernel_size=(5, 5), stride=(1, 1), padding=(2, 2))(maxpool3): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)(flatten): Flatten(start_dim=1, end_dim=-1)(linear1): Linear(in_features=1024, out_features=64, bias=True)(linear2): Linear(in_features=64, out_features=10, bias=True)
)
torch.Size([64, 10])

补充说明：上述代码中在卷积层设置了参数padding=2，这个参数的设置不是随意设置的，是根据下列计算公式，计算得来的：

其中Hout=32，Hin=32，dilation[0]=1，kernel_size[0]=5，将其带入到Hout的公式，计算过程如下：
32 =((32+2×padding[0]-1×(5-1)-1)/stride[0])+1，简化之后的式子为：
27+2×padding[0]=31×stride[0]，其中stride[0]=1，所以padding[0]=2。

2.2使用Sequential搭建一个神经网络

现以Sequential搭建上述一模一样的神经网络，并借助tensorboard显示计算图的具体信息。代码如下：

# coding ：UTF-8
# 文件功能： 代码实现搭建神经网络，并结合Sequential的使用
# 开发人员： dpp
# 开发时间： 2021/8/17 11:31 下午
# 文件名称： nn_sequential.py
# 开发工具： PyCharm
import torch
from torch import nn
from torch.nn import Conv2d, MaxPool2d, Flatten, Linear, Sequential
from torch.utils.tensorboard import SummaryWriterclass Test(nn.Module):def __init__(self):super(Test, self).__init__()self.model1 = Sequential(Conv2d(in_channels=3, out_channels=32, kernel_size=5, padding=2),MaxPool2d(kernel_size=2),Conv2d(in_channels=32, out_channels=32, kernel_size=5, padding=2),MaxPool2d(kernel_size=2),Conv2d(in_channels=32, out_channels=64, kernel_size=5, padding=2),MaxPool2d(kernel_size=2),Flatten(),Linear(1024, 64),Linear(64, 10))def forward(self, x):x = self.model1(x)return xtest = Test()
print(test)  # 输出网络的结构情况input = torch.ones((64, 3, 32, 32))
output = test(input)
print(output.shape)  # 输出output的尺寸writer = SummaryWriter("logs")
writer.add_graph(test, input)
writer.close()

在Sequential实现神经网络后，借助Tensorboard查看神经网络对应的计算图结构，代码输出结果如下：

Test((model1): Sequential((0): Conv2d(3, 32, kernel_size=(5, 5), stride=(1, 1), padding=(2, 2))(1): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)(2): Conv2d(32, 32, kernel_size=(5, 5), stride=(1, 1), padding=(2, 2))(3): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)(4): Conv2d(32, 64, kernel_size=(5, 5), stride=(1, 1), padding=(2, 2))(5): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)(6): Flatten(start_dim=1, end_dim=-1)(7): Linear(in_features=1024, out_features=64, bias=True)(8): Linear(in_features=64, out_features=10, bias=True))
）
torch.Size([64, 10])

在Tensorboard中查看计算图结果如下：

在计算图上点击相应节点，能查看到数据的具体流向和数据细节信息。点开Test节点，查看到如下细节：

3.学习小结

在本文中以一个具体的神经网络搭建为例，同时借助了Sequential简化了神经网络搭建过程，并在Tensorboard中查看神经网络计算图的详细信息，在下一篇博文，将介绍损失函数与反向传播。