pytorch系列 ---5以 linear_regression为例讲解神经网络实现基本步骤以及解读nn.Linear函数

本文主要讲述最简单的线性回归函数：
y = w x + b y=wx+by=wx+b在pytorch的实现，主要包括神经网络实现的基本步骤和nn.Linear的源码解读。

1. nn.Linear 源码解读

先看一下Linear类的实现：
源代码网址:https://pytorch.org/docs/stable/_modules/torch/nn/modules/linear.html

Linear继承于nn.Module,内部函数主要有__init__，reset_parameters, forward和extra_repr函数

__init__(self, in_features, out_features, bias=True)

in_features：前一层网络神经元的个数
out_features：该网络层神经元的个数
以上两者决定了weight的形状[out_features , in_features]
bias: 网络层是否有偏置，默认存在，且维度为[out_features ],若bias=False,则该网络层无偏置。

接下来看一下，输入该网络层的形状(N, *, in_features)，其中N为批量处理过成中每批数据的数量，*表示，单个样本数据中间可以包含很多维度，但是单个数据的最后一个维度的形状一定是in_features.

经过该网络输出的形状为(N, *, out_features),其中计算过程为：

[ N , ∗ , i n _ f e a t u r e s ] ∗ [ o u t _ f e a t u r e s , i n _ f e a t u r e s ] T = [ N , ∗ , o u t _ f e a t u r e s ] [N, *, in\_{features}] * {[out\_{features }, in\_{features}]}^T = [N, *, out\_{features}][N,∗,in_features]∗[out_features,in_features]T=[N,∗,out_features]

接下来在看一下Linear包含的属性：
从__init__函数中可以看出Linear中包含四个属性

in_features: 上层神经元个数
out_features：本层神经元个数
weight：权重，形状[out_features , in_features]
bias: 偏置，形状[out_features]

reset_parameters(self)
参数初始化函数
在__init__中调用此函数，权重采用Xvaier initialization 初始化方式初始参数。
forward(self, input)
在Module的__call__函数调用此函数，使得类对象具有函数调用的功能，同过此功能实现pytorch的网络结构堆叠。
具体实现方式请看下面两篇博客：

https://blog.csdn.net/dss_dssssd/article/details/83750838
https://blog.csdn.net/dss_dssssd/article/details/82977170

在自己写自己的类结构是，继承于Module，然后主要实现__init__函数和forward函数即可，至于可能的参数初始化方式，在后面的文章中会讲到，在这只是用默认的初始化方式。

2. 结合代码讲解神经网络实现的基本步骤

准备数据
定义网络结构model
定义损失函数
定义优化算法 optimizer
训练
- 准备好tensor形式的输入数据和标签(可选)
- 前向传播计算网络输出output和计算损失函数loss
- 反向传播更新参数
  以下三句话一句也不能少：
  1. 将上次迭代计算的梯度值清0
    optimizer.zero_grad()
  2. 反向传播，计算梯度值
    loss.backward()
  3. 更新权值参数
    optimizer.step()
- 保存训练集上的loss和验证集上的loss以及准确率以及打印训练信息。（可选
图示训练过程中loss和accuracy的变化情况(可选)
在测试集上测试

3. Linear_Regression代码解读

import torch
import torch.nn as nn
import numpy as np
import matplotlib.pyplot as plt# Hyper-parameters 定义迭代次数， 学习率以及模型形状的超参数
input_size = 1
output_size = 1
num_epochs = 60
learning_rate = 0.001# Toy dataset  1. 准备数据集
x_train = np.array([[3.3], [4.4], [5.5], [6.71], [6.93], [4.168], [9.779], [6.182], [7.59], [2.167], [7.042], [10.791], [5.313], [7.997], [3.1]], dtype=np.float32)y_train = np.array([[1.7], [2.76], [2.09], [3.19], [1.694], [1.573], [3.366], [2.596], [2.53], [1.221], [2.827], [3.465], [1.65], [2.904], [1.3]], dtype=np.float32)# Linear regression model  2. 定义网络结构 y=w*x+b 其中w的size [1,1], b的size[1,]
model = nn.Linear(input_size, output_size)# Loss and optimizer 3.定义损失函数， 使用的是最小平方误差函数
criterion = nn.MSELoss()
# 4.定义迭代优化算法， 使用的是随机梯度下降算法
optimizer = torch.optim.SGD(model.parameters(), lr=learning_rate)
loss_dict = []
# Train the model 5. 迭代训练
for epoch in range(num_epochs):# Convert numpy arrays to torch tensors  5.1 准备tensor的训练数据和标签inputs = torch.from_numpy(x_train)targets = torch.from_numpy(y_train)# Forward pass  5.2 前向传播计算网络结构的输出结果outputs = model(inputs)# 5.3 计算损失函数loss = criterion(outputs, targets)# Backward and optimize 5.4 反向传播更新参数optimizer.zero_grad()loss.backward()optimizer.step()# 可选 5.5 打印训练信息和保存lossloss_dict.append(loss.item())if (epoch+1) % 5 == 0:print ('Epoch [{}/{}], Loss: {:.4f}'.format(epoch+1, num_epochs, loss.item()))# Plot the graph 画出原y与x的曲线与网络结构拟合后的曲线
predicted = model(torch.from_numpy(x_train)).detach().numpy()
plt.plot(x_train, y_train, 'ro', label='Original data')
plt.plot(x_train, predicted, label='Fitted line')
plt.legend()
plt.show()# 画loss在迭代过程中的变化情况
plt.plot(loss_dict, label='loss for every epoch')
plt.legend()
plt.show()

训练结果：
每次迭代的损失函数

Epoch [5/60], Loss: 1.8269
Epoch [10/60], Loss: 0.9979
Epoch [15/60], Loss: 0.6616
Epoch [20/60], Loss: 0.5250
Epoch [25/60], Loss: 0.4693
Epoch [30/60], Loss: 0.4463
Epoch [35/60], Loss: 0.4366
Epoch [40/60], Loss: 0.4322
Epoch [45/60], Loss: 0.4301
Epoch [50/60], Loss: 0.4288
Epoch [55/60], Loss: 0.4279
Epoch [60/60], Loss: 0.4271

pytorch系列 ---5以 linear_regression为例讲解神经网络实现基本步骤以及解读nn.Linear函数相关推荐

Pytorch.nn.Linear 解析（数学角度）
pytorch.nn.Linear 是一个类,下面是它的一些初始化参数 in_features : 输入样本的张量大小 out_features : 输出样本的张量大小 bias : 偏置它主要是对 ...
大白话系列之C#委托与事件讲解大结局
今天是大白话系列之C#委托与事件讲解的大结局,也是我们最关心的,在日常的MES系统编程中到底怎样使用这样的利器,其实我们每天都在使用事件,一个窗体,一个按钮都包含这事件,只是很少用到自己写的委托和事件 ...
Pytorch系列(四):猫狗大战1-训练和测试自己的数据集
Pytorch猫狗大战系列: 猫狗大战1-训练和测试自己的数据集猫狗大战2-AlexNet 猫狗大战3-MobileNet_V1&V2 猫狗大战3-MobileNet_V3 TensorFl ...
使用PyTorch构建神经网络（详细步骤讲解+注释版） 01-建立分类器类
文章目录 1 数据准备 2 数据预览 3 简单神经网络创建 3.1 设计网络结构 3.2 损失函数相关设置 3.3 向网络传递信息 3.4 定义训练函数train 4 函数汇总 1 数据准备神经网络 ...
[Pytorch系列-69]：生成对抗网络GAN - 图像生成开源项目pytorch-CycleGAN-and-pix2pix - test.py代码详解
作者主页(文火冰糖的硅基工坊):文火冰糖(王文兵)的博客_文火冰糖的硅基工坊_CSDN博客本文网址:[Pytorch系列-66]:生成对抗网络GAN - 图像生成开源项目pytorch-CycleG ...
【深入浅出Yolo系列之Yolox核心基础完整讲解】
文章目录原文:https://zhuanlan.zhihu.com/p/397993315 在Yolov4.Yolov5刚出来时,大白就写过关于Yolov3.Yolov4.Yolov5的文章,并且做 ...
操作系统之进程调度——优先权法和轮转法（附上样例讲解）
操作系统之进程调度--优先权法和轮转法(附上样例讲解) 操作系统之银行家算法-详解流程及案例数据操作系统之多线程编程-读者优先/写者优先详解操作系统之存储管理--FIFO算法和LRU算法操作系统 ...
优化算法求解复杂约束问题策略（以粒子群算法为例讲解求解复杂约束问题的多种策略）
优化算法求解复杂约束问题策略(以粒子群算法为例讲解求解复杂约束问题的多种策略)python实现整个代码文字讲解共17页提示:专栏解锁后,可以查看该专栏所有文章. 文章目录策略1:在位置更 ...
PyTorch系列 (二): pytorch数据读取自制数据集并
PyTorch系列 (二): pytorch数据读取 PyTorch 1: How to use data in pytorch Posted by WangW on February 1, 2019 ...

pytorch系列 ---5以 linear_regression为例讲解神经网络实现基本步骤以及解读nn.Linear函数

1. nn.Linear 源码解读

2. 结合代码讲解神经网络实现的基本步骤

3. Linear_Regression代码解读

pytorch系列 ---5以 linear_regression为例讲解神经网络实现基本步骤以及解读nn.Linear函数相关推荐

最新文章

热门文章