【Pytorch神经网络实战案例】02 CIFAR-10数据集：Pytorch使用GPU训练CNN模版-方法②

import torch
import torchvision
from torch import nn
from torch.utils.tensorboard import SummaryWriterfrom torch.utils.data import DataLoader# 取消全局证书验证（当项目对安全性问题不太重视时，推荐使用，可以全局取消证书的验证，简易方便）
import ssl
ssl._create_default_https_context = ssl._create_unverified_context# 定义训练设备===》使用CPU进行训练方法②
# device=torch.device("cpu")
# 定义训练设备===》使用GPU进行训练方法②
# device=torch.device("cuda")
# 定义训练设备===》使用第X张GPU进行训练方法②
# device=torch.device("cuda:0")
# 定义训练设备===》根据机器情况选择能否用GPU进行训练方法②
device=torch.device("cuda" if torch.cuda.is_available() else "cup")print("当前程序正在{}上运行".format(device))# 准备数据集
train_data=torchvision.datasets.CIFAR10("datas-train",train=True,transform=torchvision.transforms.ToTensor(),download=True)
test_data=torchvision.datasets.CIFAR10("datas-test",train=False,transform=torchvision.transforms.ToTensor(),download=True)
# 获得数据集的长度
train_data_size=len(train_data)
test_data_size=len(test_data)
print("训练--数据集的长度为:{}".format(train_data_size))
print("测试--数据集的长度为:{}".format(test_data_size))# 利用DataLoader加载数据集
# Batch Size定义：一次训练所选取的样本数。
# Batch Size的大小影响模型的优化程度和速度。同时其直接影响到GPU内存的使用情况，假如你GPU内存不大，该数值最好设置小一点。
train_dataloader=DataLoader(train_data,batch_size=64)
test_dataloader=DataLoader(test_data,batch_size=64)# 创建网络模型
# 搭建神经网络
class Tudui(nn.Module):def __init__(self):super(Tudui, self).__init__()self.model = nn.Sequential(# Conv2d中##in_channels：输入的通道数目 【必选】##out_channels： 输出的通道数目 【必选】##kernel_size：卷积核的大小，类型为int 或者元组，当卷积是方形的时候，只需要一个整数边长即可，卷积不是方形，要输入一个元组表示 高和宽。【必选】##stride： 卷积每次滑动的步长为多少，默认是 1 【可选】##padding（手动计算）：设置在所有边界增加值为0的边距的大小（也就是在feature map 外围增加几圈 0 ），##                 例如当 padding =1 的时候，如果原来大小为 3 × 3 ，那么之后的大小为 5 × 5 。即在外围加了一圈 0 。【可选】##dilation：控制卷积核之间的间距【可选】nn.Conv2d(3, 32, 5, 1, 2),# MaxPool2d中：# #kernel_size(int or tuple) - max pooling的窗口大小，# # stride(int or tuple, optional) - max pooling的窗口移动的步长。默认值是kernel_size# # padding(int or tuple, optional) - 输入的每一条边补充0的层数# # dilation(int or tuple, optional) – 一个控制窗口中元素步幅的参数# # return_indices - 如果等于True，会返回输出最大值的序号，对于上采样操作会有帮助# # ceil_mode - 如果等于True，计算输出信号大小的时候，会使用向上取整，代替默认的向下取整的操作nn.MaxPool2d(2),nn.Conv2d(32, 32, 5, 1, 2),nn.MaxPool2d(2),nn.Conv2d(32, 64, 5, 1, 2),nn.MaxPool2d(2),nn.Flatten(),# nn.Linear（）是用于设置网络中的全连接层的，在二维图像处理的任务中，全连接层的输入与输出一般都设置为二维张量，形状通常为[batch_size, size]#              相当于一个输入为[batch_size, in_features]的张量变换成了[batch_size, out_features]的输出张量。nn.Linear(64*4*4, 64),nn.Linear(64, 10))def forward(self, x):x = self.model(x)return xtudui=Tudui()# 定义训练设备===》使用GPU进行训练方法②
tudui=tudui.to(device)# 损失函数
# 使用交叉熵==>分类
loss_fn=nn.CrossEntropyLoss()# 定义训练设备===》使用GPU进行训练方法②
loss_fn=loss_fn.to(device)# 优化器
learning_rate=0.01 #学习速率
optimizer=torch.optim.SGD(tudui.parameters(),lr=learning_rate)#设置训练网络的参数
#记录训练的次数
total_train_step=0
# 记录测试的次数
test_train_step=0
# 训练的轮次
epoch=10
# 添加tensorboard
writer=SummaryWriter("firstjuan")for i in range(epoch): #0-9print("-----------第{}轮训练开始-----------".format(i+1))tudui.train()# 训练步骤开始for data in train_dataloader:imgs,targets=data# 定义训练设备===》使用GPU进行训练方法②imgs = imgs.to(device)targets = targets.to(device)outputs=tudui(imgs)#将计算所得的output的数值与真实数值进行对比，即求差loss=loss_fn(outputs,torch.squeeze(targets).long())#优化器优化模型optimizer.zero_grad()loss.backward()optimizer.step()# 记录训练train的次数+1total_train_step=total_train_step+1if total_train_step %100==0 : #减少输出 方便查看测试结果print("训练次数：{},损失值loss：{}".format(total_train_step,loss))writer.add_scalar("train_loss",loss.item(),total_train_step)# 测试步骤开始tudui.eval()total_test_loss=0# 正确率total_accuracy=0with torch.no_grad(): #保证网络模型的梯度保持没有，仅需要测试，不需要对梯度进行优化与调整for data in test_dataloader:imgs,targets=data# 定义训练设备===》使用GPU进行训练方法②imgs = imgs.to(device)targets = targets.to(device)outputs=tudui(imgs)loss=loss_fn(outputs,targets)total_test_loss=total_test_loss+loss.item()# 1为横向 0为竖 计算正确率accuracy=(outputs.argmax(1)==targets).sum()total_accuracy=total_accuracy+accuracyprint("整体测试集上的Loss：{}".format(total_test_loss))print("整体测试集上的正确率accuracy：{}".format(total_accuracy/test_data_size))writer.add_scalar("test_accuracy", total_test_loss, test_train_step)writer.add_scalar("test_loss",total_accuracy/test_data_size,test_train_step)# 记录测试test的次数+1test_train_step=test_train_step+1# 保存模型# torch.save(tudui.state_dict(),"tudui_{}".format(i))torch.save(tudui,"tudui_{}.pth".format(i))print("模型已经保存")
writer.close()

import torch
from torch import nn# 搭建神经网络
class Tudui(nn.Module):def __init__(self):super(Tudui, self).__init__()self.model = nn.Sequential(# Conv2d中##in_channels：输入的通道数目 【必选】##out_channels： 输出的通道数目 【必选】##kernel_size：卷积核的大小，类型为int 或者元组，当卷积是方形的时候，只需要一个整数边长即可，卷积不是方形，要输入一个元组表示 高和宽。【必选】##stride： 卷积每次滑动的步长为多少，默认是 1 【可选】##padding（手动计算）：设置在所有边界增加值为0的边距的大小（也就是在feature map 外围增加几圈 0 ），##                 例如当 padding =1 的时候，如果原来大小为 3 × 3 ，那么之后的大小为 5 × 5 。即在外围加了一圈 0 。【可选】##dilation：控制卷积核之间的间距【可选】nn.Conv2d(3, 32, 5, 1, 2),# MaxPool2d中：# #kernel_size(int or tuple) - max pooling的窗口大小，# # stride(int or tuple, optional) - max pooling的窗口移动的步长。默认值是kernel_size# # padding(int or tuple, optional) - 输入的每一条边补充0的层数# # dilation(int or tuple, optional) – 一个控制窗口中元素步幅的参数# # return_indices - 如果等于True，会返回输出最大值的序号，对于上采样操作会有帮助# # ceil_mode - 如果等于True，计算输出信号大小的时候，会使用向上取整，代替默认的向下取整的操作nn.MaxPool2d(2),nn.Conv2d(32, 32, 5, 1, 2),nn.MaxPool2d(2),nn.Conv2d(32, 64, 5, 1, 2),nn.MaxPool2d(2),nn.Flatten(),# nn.Linear（）是用于设置网络中的全连接层的，在二维图像处理的任务中，全连接层的输入与输出一般都设置为二维张量，形状通常为[batch_size, size]#              相当于一个输入为[batch_size, in_features]的张量变换成了[batch_size, out_features]的输出张量。nn.Linear(64*4*4, 64),nn.Linear(64, 10))def forward(self, x):x = self.model(x)return xif __name__ == '__main__':tudui = Tudui()input = torch.ones((64, 3, 32, 32))output = tudui(input)print(output.shape)

【Pytorch神经网络实战案例】02 CIFAR-10数据集：Pytorch使用GPU训练CNN模版-方法②相关推荐

【Pytorch神经网络实战案例】01 CIFAR-10数据集：Pytorch使用GPU训练CNN模版-方法①
import torch import torchvision from torch import nn from torch.utils.tensorboard import SummaryWrit ...
【Pytorch神经网络实战案例】03 CIFAR-10数据集：Pytorch使用GPU训练CNN模版-测试方法
import torch import torchvision from PIL import Image from torch import nnimage_path="./test_im ...
【Pytorch神经网络实战案例】21 基于Cora数据集实现Multi_Sample Dropout图卷积网络模型的论文分类
Multi-sample Dropout是Dropout的一个变种方法,该方法比普通Dropout的泛化能力更好,同时又可以缩短模型的训练时间.XMuli-sampleDropout还可以降低训练集和 ...
【Pytorch神经网络实战案例】40 TextCNN模型分析IMDB数据集评论的积极与消极
卷积神经网络不仅在图像视觉领域有很好的效果,而且在基于文本的NLP领域也有很好的效果.TextCN如模型是卷积神经网络用于文本处理方面的一个模型. 在TextCNN模型中,通过多分支卷积技术实现对文本 ...
【Pytorch神经网络实战案例】24 基于迁移学习识别多种鸟类（CUB-200数据集）
1 迁移学习在实际开发中,常会使用迁移学习将预训练模型中的特征提取能力转移到自己的模型中. 1.1 迁移学习定义迁移学习指将在一个任务上训练完成的模型进行简单的修改,再用另一个任务的数据继续训练, ...
【Pytorch神经网络实战案例】28 GitSet模型进行步态与身份识别(CASIA-B数据集)
1 CASIA-B数据集本例使用的是预处理后的CASIA-B数据集, 数据集下载网址如下. http://www.cbsr.ia.ac.cn/china/Gait%20Databases%20cH. ...
【Pytorch神经网络实战案例】22 基于Cora数据集实现图注意力神经网络GAT的论文分类
注意力机制的特点是,它的输入向量长度可变,通过将注意力集中在最相关的部分来做出决定.注意力机制结合RNN或者CNN的方法. 1 实战描述 [主要目的:将注意力机制用在图神经网络中,完成图注意力神经网络 ...
【Pytorch神经网络实战案例】29 【代码汇总】GitSet模型进行步态与身份识别(CASIA-B数据集)
1 GaitSet_DataLoader.py import numpy as np # 引入基础库 import os import torch.utils.data as tordata from ...
【Pytorch神经网络实战案例】18 最大化深度互信信息模型DIM实现搜索最相关与最不相关的图片
图片搜索器分为图片的特征提取和匹配两部分,其中图片的特征提取是关键.将使用一种基于无监督模型的提取特征的方法实现特征提取,即最大化深度互信息(DeepInfoMax,DIM)方法. 1 最大深度互信信 ...

【Pytorch神经网络实战案例】02 CIFAR-10数据集：Pytorch使用GPU训练CNN模版-方法②

【Pytorch神经网络实战案例】02 CIFAR-10数据集：Pytorch使用GPU训练CNN模版-方法②相关推荐

最新文章

热门文章